۵ چالش حیاتی ایمنی هوش مصنوعی که بنیان‌گذاران استارتاپ‌ها باید بدانند

آیا به یک ایجنت هوش مصنوعی اجازه دسترسی به سیستم‌های شرکت خود را می‌دهید؟ آیا کارمندان خود را در یک خودروی خودران قرار می‌دهید؟ یا رباتی را مستقر می‌کنید که باید دنیای فیزیکی و غیرقابل پیش‌بینی را درک کند؟

این پرسش‌ها دیگر برای بنیان‌گذاران هوش مصنوعی فرضی نیستند. با خروج هوش مصنوعی از مرحله نمایش و ورود به کسب‌وکارها، خودروها، ربات‌ها و ایجنت‌های خودمختار، ایمنی و امنیت به بخشی جدایی‌ناپذیر از محصولات تبدیل شده است.

در رویدادها و پنل‌های تخصصی پیش‌ روی فناوری، چالش‌های مربوط به ایمنی هوش مصنوعی در مرکز توجه قرار گرفته‌اند. از تأمین امنیت ایجنت‌ها تا پیاده‌سازی هوش مصنوعی سازمانی، تمرکز اصلی بر ساخت سیستم‌هایی است که افراد و شرکت‌ها بتوانند واقعاً به آن‌ها اعتماد کنند.

۱. چالش‌های واقعی استقرار Claude در سازمان‌ها

برخی سازمان‌ها ارزش قابل‌توجهی از هوش مصنوعی به دست می‌آورند، در حالی که برخی دیگر پس از گذشت ۱۸ ماه همچنان در مرحله آزمایشی گیر کرده‌اند. دلیل این تفاوت چیست؟

کت دی جونگ، مدیر هوش مصنوعی کاربردی در Anthropic، بررسی دقیقی روی این موضوع داشته است. او با سازمان‌هایی که مدل Claude را در جریان‌های کاری حیاتی خود پیاده‌سازی می‌کنند همکاری نزدیکی دارد و به‌خوبی می‌بیند که چه عواملی باعث موفقیت پروژه‌ها شده و چه مسائلی مانع پیشرفت آن‌ها می‌شوند.

بررسی‌های Anthropic نشان می‌دهد که هنگام انتقال شرکت‌ها از مرحله آزمایش به استفاده نهایی، موانع متعددی بروز می‌کند. برای بنیان‌گذارانی که به دنبال فروش راهکارهای هوش مصنوعی به سازمان‌ها هستند، درک این تفاوت‌ها می‌تواند مرز بین یک استقرار موفق و یک پروژه متوقف‌شده در فاز آزمایشی را مشخص کند.

۲. مشکل امنیت ایجنت‌ها که کسی درباره آن صحبت نمی‌کند

یک ایجنت هوش مصنوعی که قادر به انجام اقدامات مستقل است، می‌تواند مجموعه کاملاً جدیدی از مشکلات امنیتی را ایجاد کند. این ایجنت‌ها باید به چه منابعی دسترسی داشته باشند؟ چه مجوزهایی به آن‌ها داده شود؟ و زمانی که مجوزهای سطح برنامه کافی نیستند، چه اتفاقی رخ می‌دهد؟

کارشناسانی نظیر ریک اسمیت، از مدیران ارشد فناوری Okta، و گابریل کوهن، هم‌بنیان‌گذار و مدیرعامل NanoCo، معتقدند که امنیت ایجنت‌ها باید در سطح زیرساخت بررسی شود. این چالش‌ها شامل نقاط ضعف مدل‌های مجوزدهی برنامه‌ای و تصمیمات مهم معماری است که بنیان‌گذاران هنگام استقرار هوش مصنوعی مبتنی بر ایجنت باید لحاظ کنند.

۳. ایمن‌سازی هوش مصنوعی سازمانی و پیچیدگی‌های ابری

ورود یک محصول مبتنی بر هوش مصنوعی به سازمان‌ها نیازمند چیزی فراتر از یک دموی چشمگیر است.

هنگامی که شرکت‌ها قصد دارند هوش مصنوعی را در سیستم‌های حیاتی خود پیاده‌سازی کنند، مفاهیمی مانند امنیت، حاکمیت داده و نظارت‌پذیری به بخش اصلی مذاکرات تبدیل می‌شوند.

مدیرانی همچون رودی میترا از تیم خدمات امنیتی AWS در کنار متخصصان امنیت سایبری مانند کیتی موسوریس (مدیرعامل Luta Security) و وندی ندر، تأکید دارند که با مستقل‌تر شدن نقش‌های هوش مصنوعی، زیرساخت‌های سازمانی به تغییرات اساسی نیاز خواهند داشت. برای بنیان‌گذاران، این مسئله به معنای رویارویی مستقیم نوآوری با الزامات سخت‌گیرانه امنیتی مشتریان کلان است.

۴. ساخت سیستم‌های هوش مصنوعی؛ وقتی شکست گزینه مقبولی نیست

هوش مصنوعیِ فعال در دنیای فیزیکی خطرات بسیار بیشتری به همراه دارد. یک اشتباه در این حوزه فقط روی صفحه‌نمایش باقی نمی‌ماند، بلکه می‌تواند بر خودروها، هواپیماها، سیستم‌های صنعتی و مأموریت‌های حیاتی تأثیر بگذارد.

رهبران صنعت رباتیک و سیستم‌های خودران از جمله ناتان مایکل (مدیر ارشد فناوری Shield AI)، میکل تیلور (مدیر استراتژی رباتیک General Motors) و راکل اورتاسون (بنیان‌گذار و مدیرعامل Waabi) با یکی از سخت‌ترین پرسش‌های حوزه سخت‌افزار مواجه‌اند: چگونه می‌توان فهمید یک سیستم خودمختار برای استقرار نهایی به اندازه کافی ایمن است؟

ایجاد فرهنگ ایمنی، آزمایش و اعتبارسنجی مداوم، عبور از موانع قانونی و جلب اعتماد عمومی، از مهم‌ترین پیش‌نیازها برای پیاده‌سازی سیستم‌های هوشمندی است که پیامدهای فیزیکی به همراه دارند.

۵. انتظار ربات‌ها برای لحظه تاریخی ChatGPT

ربات‌ها با یک چالش بزرگ در زمینه داده‌ها روبه‌رو هستند. آن‌ها به مجموعه عظیم داده‌های آموزشی که باعث شتاب‌گرفتن پیشرفت مدل‌های زبانی و خودروهای خودران شد، دسترسی ندارند.

این شکاف یکی از بزرگ‌ترین موانع در مقیاس‌پذیری هوش مصنوعی فیزیکی محسوب می‌شود. به گفته لس کارپاس از مدیران بخش هوش مصنوعی فیزیکی در NVIDIA، استفاده از خطوط لوله داده، محیط‌های شبیه‌سازی و مدل‌های پایه می‌تواند به پر کردن این خلأ کمک کند تا ربات‌های توانمندتر و قابل‌اعتمادتری توسعه یابند.

برای توسعه‌دهندگان، پرسش اساسی این است: رباتیک برای رسیدن به نقطه عطفی شبیه به موفقیت ChatGPT و کسب اعتماد لازم برای فعالیت در دنیای واقعی، دقیقاً به چه چیزی نیاز دارد؟

مهم‌ترین پرسش پیش روی هر بنیان‌گذار هوش مصنوعی

آیا افراد به آنچه می‌سازید اعتماد خواهند کرد؟ شما می‌توانید یک مدل هوشمندتر، یک ایجنت توانمندتر یا رباتی بسازید که کاری بی‌سابقه انجام دهد؛ اما متقاعد کردن مشتریان برای اعتماد به آن و استفاده عملی، احتمالاً یکی از سخت‌ترین بخش‌های عرضه محصول به بازار خواهد بود.

بررسی نحوه رویارویی رهبران این صنعت با چالش‌های مرتبط با ایمنی، امنیت و قابلیت اطمینان، نشان‌دهنده فاصله عمیق میان خلق یک فناوری پیشگام و پذیرش واقعی آن در جهان فیزیکی است.