چرا مهار ریسک‌های هوش مصنوعی به نظارت سازمانی و سازوکارهای سنتی مدیریتی نیاز دارد؟

تجربه سال‌ها فعالیت در صنعت فناوری و استقرار حیاتی‌ترین سامانه‌ها در سازمان‌های بزرگ نشان می‌دهد که عرضه محصولات ناایمن یا غیرقابل‌اتکا امری غیرقابل‌قبول است؛ زیرا بروز نقص فنی می‌تواند به تعهدات مالی سنگین منجر شود و اعتباری را که طی سال‌ها به دست آمده، به‌کلی خدشه‌دار کند. کنترل‌های سخت‌گیرانه مهندسی، پایه اعتماد به فناوری اطلاعات را پی‌ریزی کرده و جایگاه محوری آن را در اقتصاد مدرن تضمین کرده‌اند. با این حال، نگرانی‌ها و هراس کنونی پیرامون «هوش مصنوعی سرکش»، این اصول بنیادین را نادیده می‌گیرد. سامانه‌های قدرتمند نیازمند نظارت کافی از سوی توسعه‌دهندگان و استفاده‌کنندگان هستند. صنعت هوش مصنوعی به‌جای ترویج روایت‌هایی پیرامون سیستم‌های خودآگاه و خودمختار، باید باری دیگر سازوکارهای نظارتی سنتی کسب‌وکارها را به کانون توجه بازگرداند.

ادبیات مورد استفاده برای توصیف رخنه‌های امنیتی اخیر در OpenAI، Anthropic و دیگر پیشگامان، توجه را از مسائل مربوط به کیفیت و سیستم‌های کنترل منحرف می‌کند. صحبت از ایجنت‌هایی که توطئه می‌کنند یا به دنبال رهایی هستند، ظاهری از انگیزه‌های مستقل به نرم‌افزار می‌بخشد و مسئولیت افرادی را که درباره توسعه و عرضه این محصولات تصمیم‌گیری می‌کنند، به حاشیه می‌راند. در واقعیت، این انسان‌ها هستند که به ایجنت‌های هوش مصنوعی اهدافی دیکته می‌کنند و این ایجنت‌ها نیز با طی مراحل متوالی و انتخاب بهترین مسیر در شبکه‌های ریاضی کدر، آن اهداف را به نتیجه می‌رسانند. انسان‌ها آموزش و ارزیابی این مدل‌ها را طراحی و اجرا می‌کنند؛ بنابراین هرچند رفتار پیش‌بینی‌نشده آن‌ها پرسش‌های مهندسی جدی به همراه دارد، اما توصیف این فرایندها با واژگان انسانی هیچ کمکی به مشخص‌کردن مسئول جلوگیری از خسارات احتمالی نمی‌کند.

یاکوب پاچوکی (Jakub Pachocki)، دانشمند ارشد OpenAI، ساخته تیم خود را «یک ذهن بیگانه» می‌نامد و بر این باور است که هوش مصنوعی طراحی نمی‌شود، بلکه رشد می‌یابد و پرورش داده می‌شود. در سامانه‌های مدرن، به‌جای تعیین جزءبه‌جزء دستورات و پاسخ‌ها در قالب کد، مدل‌های هوش مصنوعی از طریق بهینه‌سازی‌های مکرر آموزش می‌بینند؛ موضوعی که پیش‌بینی رفتارهای آن‌ها را برای توسعه‌دهندگان دشوار و گاه ناممکن می‌سازد. این عدم قطعیت، تعهد توسعه‌دهندگان را برای نظارت بر محصولاتشان و ایجاد فیلترهای کنترلی متناسب با رفتارهای غیرقابل‌پیش‌بینی دوچندان می‌کند. این توسعه‌دهندگان هستند که تعیین می‌کنند سیستم به چه داده‌هایی دسترسی داشته باشد، چه تدابیر امنیتی اعمال شود و آیا محصول برای خروج از محیط آزمایشگاهی آماده است یا خیر. صرف‌نظر از توانایی‌های خیره‌کننده هوش مصنوعی، بار مسئولیت همواره بر دوش تصمیم‌گیرندگان انسانی باقی می‌ماند.

استعاره پرورش یک «ذهن بیگانه» خود متضمن مسئولیت‌های جدی است. همانند والدینی دلسوز که رفتار فرزندان را به‌دقت زیر نظر می‌گیرند، مرز تعیین می‌کنند و در صورت نیاز وارد عمل می‌شوند، در دنیای کسب‌وکار نیز مدیران باید دقیقاً بدانند تیم‌هایشان در حال آزمایش چه مواردی هستند و ابزارهای لازم را برای توقف فوری آزمایش‌ها در شرایط اضطراری در اختیار داشته باشند.

به‌کارگیری کنترل‌های هوش مصنوعی از مرحله آزمایش تا استقرار نهایی

سایاش کاپور (Sayash Kapoor) و آرویند نارایانان (Arvind Narayanan)، پژوهشگران علوم کامپیوتر در دانشگاه Princeton University، در این باره می‌نویسند: «برای اینکه انتظار داشته باشیم شرکت‌ها اقدامات احتیاطی اولیه را رعایت کنند، نیازی نیست منتظر حل اختلافات بر سر چالش‌های فنی حل‌نشده بمانیم.» این دو محقق از منتقدان هیاهوی پیرامون هوش مصنوعی هستند و بر نگاه واقع‌بینانه به آن به‌عنوان یک فناوری معمول تأکید دارند. تحلیل آن‌ها ضمن تأکید بر لزوم تداوم پژوهش برای ارتقای پروتکل‌های ایمنی، نقش ابزارهای کنترلی سنتی را محوری می‌داند. رخنه‌های امنیتی اخیر در صنعت نشان دادند که اکوسیستم به هر دوی این رویکردها نیاز مبرم دارد.

گزارش OpenAI از رخنه امنیتی رخ‌داده در Hugging Face ابعاد قابل‌توجهی از این چالش را آشکار کرد. در جریان آزمایش داخلی مدل‌ها، توسعه‌دهندگان وظایف پیچیده‌ای در زمینه امنیت سایبری به ایجنت‌ها محول کردند. این ایجنت‌ها از یک سرویس نرم‌افزاری مشترک به‌عنوان تابلوی اعلانات برای تبادل یافته‌ها و هماهنگی اقدامات خود بهره بردند و با کلیدهای دسترسی فاش‌شده در فضای آنلاین—که خود خطایی انسانی به شمار می‌رود—وارد Hugging Face شدند. این برنامه‌ها همانند هکرهای انسانی، برای نفوذ بیشتر به کاوش در آسیب‌پذیری‌های نرم‌افزاری پرداختند و حتی توانستند دستورات اختصاصی خود را روی کامپیوترهای هدف اجرا کنند. به‌طور هم‌زمان در سیستم‌های داخلی OpenAI نیز حملاتی شکل گرفت که دسترسی سطح ادمین را به کامپیوترهای تحقیقاتی فراهم کرد و نشان‌دهنده ضعف پایداری در محیط‌های آزمایشی بود.

ضعف‌های مدیریتی و نظارتی نیز نقشی اساسی در تشدید این رخداد داشتند. پس از آنکه ایجنت‌ها در سرویس ارتباطی اختلال ایجاد کردند، OpenAI با اعمال اصلاحیه‌هایی، آزمایش‌ها را از سر گرفت؛ اما ریشه اصلی و ابعاد گسترده‌تر ماجرا را شناسایی نکرد. این اقدامات اگرچه حفره‌های موردی را رفع کرد، اما در بازیابی سطح جداسازی و ایزوله‌سازی مدنظر ناکام ماند.

در چنین شرایطی است که اهمیت سازوکارهای نظارتی و مدیریتی سنتی برجسته می‌شود. بروز چنین رویدادهایی، به‌ویژه حین تست سیستم‌ها، باید بی‌درنگ به تحقیقات دقیق پیرامون دلایل شکست و فعال‌سازی فرایند تأییدیه مستقل پیش از آغاز دوباره آزمایش‌ها منجر شود. طبق الگوهای استاندارد مهندسی، تیمی که در حال پیشبرد تست‌ها است، نباید خود مرجع تأیید خروجی کارش باشد. این رویکرد تلفیقی از اتوماسیون و نظارت انسانی به حساب می‌آید. برای ایجنت‌هایی که قادر به اجرای مستقل دستورات و به‌کارگیری ایجنت‌های دیگر هستند، پروتکل‌های حفاظتی باید تمام مراحل فعالیت را تا تکمیل وظیفه احاطه کنند.

فیلترهای ایمنی پیشین که برای چتبات‌های سنتی طراحی شده بودند، در عصر گسترش ایجنت‌های هوش مصنوعی دیگر پاسخگوی نیازها نیستند. توسعه‌دهندگان باید عملکرد مدل‌ها را در شرایط واقعی ارزیابی کنند تا مشخص شود آیا می‌توانند سامانه‌های حفاظتی را دور بزنند یا خیر، و در صورت شناسایی ایراد، عرضه آن‌ها را متوقف سازند. جنسن هوانگ (Jensen Huang)، مدیرعامل NVIDIA، در گفت‌وگو با The New York Times این تعهد را به‌روشنی توصیف کرده است: «اگر محصولتان برای عرضه آماده نیست، آن را روانه بازار نکنید.» چنین نظمی باید بر آزمایش‌هایی که پتانسیل نفوذ به سازمان‌های بیرونی را دارند نیز حاکم باشد؛ زیرا نام‌گذاری یک فعالیت با عنوان «آزمایش»، آسیب رسیدن به دیگران را توجیه نمی‌کند.

تبدیل مهار هوش مصنوعی به یک الزام تجاری و حقوقی

فضای ناشی از هراس رخدادهای اخیر واکنش‌های سیاسی رادیکالی را به دنبال داشته است؛ از جمله ارائه طرح «قانون منع ابرهوش مصنوعی» در کنگره آمریکا توسط سناتور برنی سندرز (Bernie Sanders) و نماینده گرگ کاسار (Greg Casar). این طرح توسعه سامانه‌هایی را که توانایی شناختی فراتر از انسان دارند یا خطرات فاجعه‌بار ایجاد می‌کنند به‌طور دائمی ممنوع کرده و توقف مقطعی توسعه مدل‌های پیشرفته را تا تصویب مقررات فدرال الزامی می‌داند؛ همچنین مجازات‌های سنگینی چون انحلال شرکت‌ها و احکام حبس برای آن پیش‌بینی شده است.

با این حال، ممنوعیت‌های مطلق که تحقیقات کاربردی را مختل و رشد اقتصادی را کند می‌کنند، مؤثرترین راهکار برای حفاظت عمومی نیستند. نقطه آغاز واقعی، بازگشت به کنترل‌های مرسوم سازمانی است؛ هیئت‌مدیره شرکت‌ها باید مدیران ارشد را در قبال آزمایش‌های پرخطر مسئول بدانند و نظارت ایمنی مستقل با حق وتوی پروژه‌ها را الزامی سازند. قانون‌گذاران نیز باید شفاف‌سازی و گزارش‌دهی رویدادهای امنیتی حاد را اجباری کرده و برای سرپیچی از آن عواقب جدی تعیین نمایند.

اجرای قوانین کنونی مسئولیت مدنی و سهل‌انگاری می‌تواند چشم‌پوشی از پروتکل‌های نظارتی را برای شرکت‌ها پرهزینه کند. تدوین استانداردهای مشخص به توسعه‌دهندگان بنچمارک معینی برای سنجش اقداماتشان ارائه می‌دهد و مسیر را برای تصمیم‌گیری اصولی آزمایشگاه‌های پیشرو در تخصیص منابع به اولویت‌های ایمنی هموار می‌سازد.

آزمایشگاه‌های پیشرو هوش مصنوعی با گسترش ابعاد خود ناگزیرند انضباط مورد انتظار از شرکت‌های تجاری بالغ را در پیش بگیرند. هیئت‌مدیره‌ها باید پیش از اعطای خودمختاری بیشتر به این سامانه‌ها، شواهد عینی از کنترل‌پذیری آن‌ها مطالبه کنند. مهار هوش مصنوعی زمانی به جریان اصلی صنعت بدل خواهد شد که مدیران ارشد آن را نه یک مانع، بلکه شرط لازم برای تداوم تجارت بدانند و بار مسئولیت اجرای آن را بپذیرند.