هشدار دانشمندان در اجلاس ایمنی استنفورد: خطرات ایجنت‌های هوش مصنوعی و سپرهای دفاعی تازه

در روز ۵ اکتبر ۲۰۲۶، مرکز ایمنی هوش مصنوعی دانشگاه استنفورد (SAFE) میزبان یک اجلاس سالانه و فوق‌العاده مهم در حوزه ایمنی هوش مصنوعی بود؛ رویدادی سطح بالا که فرصتی کم‌نظیر برای دور هم جمع شدن پژوهشگران دانشگاهی و فعالان صنعت فراهم کرد تا وضعیت کنونی و چشم‌انداز آینده توسعه و استقرار سیستم‌های هوش مصنوعی ایمن و قابل اعتماد را به چالش بکشند و بررسی کنند.

در این گردهمایی، ارائه‌های تخصصی متعددی از سوی چهره‌های برجسته با کارگاه‌های جانبی و نشست‌های تخصصی همراه شد تا تازه‌ترین پژوهش‌های دانشگاهی و رویدادهای پشت درهای بسته آزمایشگاه‌های پیشرو سیلیکون‌ولی زیر ذره‌بین قرار گیرد. یکی از جذاب‌ترین و ارزشمندترین بخش‌های این همایش، تریبونی بود که در اختیار دانشجویان تحصیلات تکمیلی قرار گرفت تا دستاوردهای پژوهشی خود را عرضه کنند. بسیاری از این نخبگان جوان پشت صحنه ساعت‌ها بی‌وقفه تلاش می‌کنند و کم‌تر مجالی برای دیده‌شدن کار‌های نوآورانه‌شان می‌یابند؛ اما در این رویداد، ارائه‌های کوتاه دانشجویی (Lightning Talks) و نشست ارائه پوستر این بستر را مهیا کرد تا شرکت‌کنندگان از نزدیک با این استعدادهای خلاق به گفت‌وگو بنشینند.

پژوهش‌های تراز اول در حوزه ایمنی هوش مصنوعی

مرکز ایمنی هوش مصنوعی دانشگاه استنفورد که با نام اختصاری SAFE شناخته می‌شود، به خاطر کار‌های پیشگامانه و لبه دانشی خود در ارتقای علم سیستم‌های هوش مصنوعی ایمن و قابل اتکا شهرتی جهانی دارد؛ به طوری که حتی در کارگاه‌های تخصصی بین‌المللی دیگر مانند کارگاه اخیر هاروارد پیرامون اعتمادپذیری هوش مصنوعی نیز مقالات و پروژه‌های تحقیقاتی SAFE همواره در کانون مباحثات سنگین و علمی قرار دارد.

طبق بیانیه رسمی وب‌سایت SAFE، مأموریت و چشم‌انداز کلیدی این مرکز بر سه اصل بنیادین استوار است:

• «مرکز ایمنی هوش مصنوعی استنفورد با هدایت پژوهش، آموزش و سیاست‌گذاری در تلاش است تا سیستم‌های هوش مصنوعی ایمن، قابل اعتماد و برای بشریت سودمند باشند.»
• «ما آینده‌ای را ترسیم می‌کنیم که در آن فناوری‌های هوش مصنوعی با تضمین‌های ایمنی قدرتمند، تصمیم‌گیری شفاف و هم‌راستایی کامل با ارزش‌های انسانی به شکلی مسئولانه توسعه یافته و مستقر شوند.»
• «از طریق همکاری‌های بین‌رشته‌ای میان علوم کامپیوتر، مهندسی، حقوق و علوم اجتماعی، هدف ما شکل‌دهی به سیاست‌ها و رویه‌هایی است که توسعه هوش مصنوعی را در سراسر جهان هدایت می‌کنند.»

پرداختن به مقوله ایمنی هوش مصنوعی در برهه کنونی بیش از هر زمان دیگری حیاتی به نظر می‌رسد؛ به‌ویژه پس از زنجیره‌ای از حوادث و نگرانی‌های تازه درباره رفتارهای پیش‌بینی‌نشده و سرکش ایجنت‌های هوش مصنوعی که سر و صدای زیادی در رسانه‌ها به پا کرده است. در این برهه حساس، دنیای فناوری نیازمند روش‌های مبتنی بر شواهد و تکنیک‌های قدرتمندی است که ایمنی را ارتقا داده و از خطرات فناوری‌های دوگانه (Dual-Use) هوش مصنوعی جلوگیری کند. خوشبختانه اندیشکده‌های پژوهشی و برنامه‌های دانشگاهی نقشی اساسی در کشف این راهکارهای امنیتی ایفا می‌کنند. برای کسب اطلاعات بیش‌تر درباره مرکز SAFE استنفورد، پروژه‌های تحقیقاتی، مقالات و رویدادهای آن می‌توانید به وب‌سایت رسمی مرکز ایمنی هوش مصنوعی استنفورد مراجعه کنید.

جزئیات و حال‌وهوای رویداد ۲۰۲۶

اجلاس سالانه امسال مرکز SAFE فراتر از انتظار ظاهر شد و توانست به بهترین شکل ممکن چالش‌های داغ روز را به بحث بگذارد. سخنرانی افتتاحیه توسط پروفسور مایکل کوچندرفر (Mykel Kochenderfer) آغازگر برنامه بود؛ وی پرسش‌های کلیدی و چالش‌برانگیزی را درباره ایمنی هوش مصنوعی مطرح کرد که در طول روز به بحث‌های پرشور میان شرکت‌کنندگان دامن زد. کوچندرفر که به خاطر کتاب جریان‌ساز خود تحت عنوان الگوریتم‌های اعتبارسنجی (Algorithms for Validation) شناخته می‌شود، چارچوب‌های نوینی برای راستی‌آزمایی مدل‌ها ارائه داده است.

برخی از مهم‌ترین ارائه‌های تخصصی در جدول برنامه‌های اجلاس ۲۰۲۶ عبارت بودند از:

• سرافینا گلدفارب-تارانت از شرکت Cohere: ارائه‌ای با عنوان «جهان بیرون از لوله آزمایش: مدل‌سازی پیچیدگی سیستم‌های اجتماعی-فنی در ایمنی و امنیت مدل‌های زبانی بزرگ (LLM)».
• دیو اور از شرکت Anthropic: سخنرانی پیرامون «سپرهای دفاعی در آنتروپیک: رفتار مدل، کلاسیفایرها، کنترل دسترسی و نظارت مداوم».
• کنراد استوز از استارتاپ Transluce: ارائه‌ای درباره «ارتقای دانش و عمل در ارزیابی همراهان هوش مصنوعی (AI Companions)».
• تینا هرناندز-بوسارد، معاون پژوهشی دانشکده پزشکی استنفورد: سخنرانی مدعو درباره ملاحظات ایمنی هوش مصنوعی در حوزه پزشکی و سلامت.
• حامد حسنی از دانشگاه پنسیلوانیا: بررسی «حملات توزیع‌شده ایجنت‌ها و نحوه مهار آن‌ها توسط سیستم‌های دفاعی وضعیت‌مند (Stateful)».
• سیدنی کتز و رابرت ماس از شرکت Valgo: ارائه راهکارهایی برای «پایش مداوم عملکرد ایمنی سیستم‌ها».
• هوجون (جک) لیو، پژوهشگر دانشگاه استنفورد (بخش ویژه دانشجویی): ارائه روش «تست استرس تطبیقی برای توسعه مدل‌های زبانی ایمن‌تر، امن‌تر و با میزان فریبکاری کم‌تر».

بخش عمده‌ای از موفقیت و برگزاری بی‌نقص این رویداد، مدیون تلاش‌های خستگی‌ناپذیر دکتر کیانا جعفری، مدیر اجرایی مرکز SAFE است. برای آشنایی با دستاوردهای تحقیقاتی دکتر جعفری در زمینه همکاری انسان و ایجنت (Human-Agent Teaming) و هوش مصنوعی انسان‌محور می‌توانید به وب‌سایت رسمی دکتر کیانا جعفری مراجعه کنید.

دوره‌های آموزشی در حال برگزاری و پیش‌رو

برای کسانی که به طور جدی پیگیر یادگیری مباحث ایمنی هوش مصنوعی هستند، دانشگاه استنفورد دوره‌های شاخصی را با همکاری مرکز SAFE برگزار می‌کند که برخی در حال برگزاری و برخی در نوبت ارائه هستند:

• «حکمرانی هوش مصنوعی: حقوق، سیاست‌گذاری و نهادها» (کد CS283/LAW4052): تدریس‌شده توسط نیت پرسیلی، راب رایک، آنکا روئل و سانمی کوئجو.
• «ناوبری در سیستم‌های خودمختار» (کد AA275): تدریس‌شده توسط گریس گائو.
• «اعتبارسنجی سیستم‌های ایمنی حیاتی» (کد AA228V/CS238V): تدریس‌شده توسط سیدنی کتز.
• «روان و روان‌شناسی هوش مصنوعی» (کد PSYC 248): تدریس‌شده توسط نینا واسان.

یکی از دوره‌های بسیار جذاب این ترم، درس حکمرانی هوش مصنوعی است که سرفصل‌ها و منابع خواندنی آن راهنمایی فوق‌العاده کاربردی برای علاقه‌مندان به سیاست‌گذاری فناوری به شمار می‌رود؛ برای مشاهده این منابع می‌توانید سیلابس و برنامه درسی دوره را دریافت کنید. علاوه بر این، آنکا روئل و پروفسور راب رایک چکیده‌ای موشکافانه از مباحث هفتگی این کلاس را در مجموعه یادداشت‌های هفتگی دوره در ساب‌استک به اشتراک می‌گذارند. همچنین علاقه‌مندان به اندیشه‌های پروفسور راب رایک در زمینه اخلاق فناوری می‌توانند آثار و کتاب‌های او را در آرشیو مقالات و کتاب‌های راب رایک مطالعه کنند.

جهانی که در آن زندگی می‌کنیم

هوش مصنوعی اکنون به یک واقعیت گریزناپذیر در زندگی روزمره ما تبدیل شده است. فناوری هوش مصنوعی به عنوان یک قابلیت دوگانه (Dual-Use)، همان اندازه که فرصت‌های شگفت‌انگیزی پیش رویمان می‌گذارد، می‌تواند نگرانی‌های جدی و پیامدهای ناگواری هم داشته باشد. امروزه پژوهشگران به درستی در حال واکاوی پرسش‌هایی بنیادین هستند: معنای واقعی ایمنی در هوش مصنوعی چیست؟ کدام خطرات نیازمند بیش‌ترین اولویت و توجه فوری هستند؟ ایمنی سامانه‌ها با چه معیارهایی باید سنجیده شود و موثرترین سازوکارها برای حکمرانی بر هوش مصنوعی کدامند؟ از طریق ارزیابی‌های مداوم، آزمایش‌های تجربی و آزمون‌های دنیای واقعی، تحقیقات ایمنی ما را به درک عمیق‌تری از چالش‌ها و راهکارهای عملی برای قابل اعتمادتر کردن این سیستم‌ها نزدیک می‌کند.

مهم نیست چقدر به دستاوردها و مدل‌های جدید هوش مصنوعی اعتماد داریم؛ در نهایت قاعده طلایی و مشهوری که باید همواره سرلوحه ما باشد یک جمله است: «اعتماد کن، اما حتماً راستی‌آزمایی کن!»