پیش‌نویس محرمانه آنتروپیک برای الزام قانونی «کلید قطع اضطراری هوش مصنوعی» جنجال‌ساز شد

تازه‌ترین جنجال دنیای فناوری پس از افشای پیش‌نویس یک لایحه پیشنهادی از سوی شرکت آنتروپیک آغاز شد؛ سندی محرمانه که این شرکت به‌صورت غیرعلنی به شماری از قانون‌گذاران برجسته در کنگره آمریکا ارائه کرده تا تعبیه «کلید قطع اضطراری هوش مصنوعی» را به یک الزام قانونی برای تمام بازیگران صنعت تبدیل کند.

در نگاه اول شاید این موضوع چندان شگفت‌آور به نظر نرسد، چراکه پیش‌نویس‌ها و ایده‌های متعددی پیرامون دکمه توقف اضطراری هوش مصنوعی همواره مطرح بوده است. این بحث به‌ویژه پس از رفتارهای پیش‌بینی‌نشده برخی ایجنت‌های هوش مصنوعی دوباره به سرخط خبرها بازگشت. باور مدافعان این است که اگر دولت کلید قطع اضطراری در اختیار داشته باشد یا دست‌کم اختیار قانونی برای فعال‌کردن آن را به دست آورد، جامعه از آسیب‌های ناشی از خروج هوش مصنوعی از مرزهای امن محافظت خواهد شد. با این حال، بسیاری از متخصصان چنین ایده‌ای را یک رؤیای خام و دور از واقعیت‌های فنی می‌دانند. به هر روی، تلاش‌های پشت‌پرده آنتروپیک برملا شد و موضوعی ساده را به یک جنجال بزرگ خبری تبدیل کرد. بخش عمده‌ای از تعجب و اعتراض کارشناسان به جزئیات شروط پیشنهادی این سند بازمی‌گردد که در ادامه بندبه‌بند بررسی می‌شوند.

اما واقعیت ماجرا چیست و ابعاد فنی و حقوقی این ایده تا چه اندازه پیچیده است؟ در ادامه، ابعاد مختلف این لایحه پیشنهادی و چالش‌های کلیدی آن را مرور می‌کنیم.

بحث درباره دکمه توقف اضطراری هوش مصنوعی؛ ایده‌ای که دوباره زنده شد

توجه به طراحی کلید قطع اضطراری برای هوش مصنوعی از همان روزهای آغازین تولد این حوزه وجود داشته است. داستان‌های علمی‌تخیلی پرشماری درباره هوش مصنوعی شروری نوشته شده که قصد دارد انسان‌ها را به بردگی بکشد یا از روی سیاره زمین محو کند. در دنیای واقعی نیز سال گذشته هم‌زمان با تب‌وتاب هوش مصنوعی عمومی (AGI) و ابرهوش مصنوعی (ASI)، نگرانی‌های فراوانی درباره احتمال نابودی بشر یا اصطلاحاً «p(doom)» و خطرات وجودی هوش مصنوعی شکل گرفت.

یک دیدگاه بر این باور است که هوش مصنوعی در مقیاس بسیار بزرگ ممکن است به پدیده‌ای خطرناک تبدیل شود، به خودآگاهی برسد یا هوش مافوق بشری پیدا کند؛ در چنین شرایطی بقای انسان تنها در گرو داشتن ابزاری برای خاموش کردن آن خواهد بود. شاید این نگاه تا حدی ریشه در داستان‌های علمی‌تخیلی داشته باشد، اما نگاهی واقع‌بینانه‌تر نیز وجود دارد: ممکن است هوش مصنوعی مرتکب خطایی سهمگین شود یا با باگ نرم‌افزاری وحشتناکی روبه‌رو گردد و رفتاری فاجعه‌بار از خود نشان دهد. در این سناریو، مدل می‌تواند ناخواسته جان انسان‌ها را به خطر بیندازد؛ بنابراین تعبیه دکمه توقف یا کلید قطع اضطراری، درست همانند دکمه توقف خط تولید خودکار در کارخانه‌ها، اقدامی محتاطانه و ضروری است.

مسئله اصلی اینجاست که پیاده‌سازی کلید قطع اضطراری هوش مصنوعی بسیار سخت‌تر از تصور عمومی به نظر می‌رسد. در این میان، ملاحظات فنی و حقوقی کلیدی متعددی مطرح می‌شود که ابعاد پنهان و چالش‌های اجرای چنین ایده‌ای را نمایان می‌سازند.

چالش‌های فنی کلید قطع اضطراری هوش مصنوعی

در ظاهر به نظر می‌رسد تنها کاری که باید انجام شود، جلوگیری از ادامه کارکرد مدل هوش مصنوعی است. اگر برنامه‌ای روی گوشی هوشمند شما اجرا شود و بخواهید آن را متوقف کنید، اقدام چندان پیچیده‌ای لازم نیست؛ کافی است دکمه‌ای را برای توقف فعالیت گوشی فشار دهید یا به‌سادگی کل گوشی را خاموش کنید. این‌ها راهکارهایی سریع و ساده به شمار می‌روند.

اما وقتی مقیاس سیستم را تا سطح مدل‌های هوش مصنوعی مولد پایه و مدل‌های بزرگ زبانی (LLMها) بالا ببریم؛ همان مدل‌های پیشرویی مانند ChatGPT، GPT-5، Gemini، Grok، Claude و Copilot که امروزه میلیاردها کاربر دارند، شرایط کاملاً دگرگون می‌شود. این سیستم‌ها فوق‌العاده حجیم و در مقیاسی وسیع توزیع شده‌اند. آن‌ها روی هزاران سرور کامپیوتری مختلف اجرا می‌شوند که در سراسر جهان پراکنده شده‌اند تا در صورت از کار افتادن هر دیتاسنتر، پایداری و تاب‌آوری کل سامانه تضمین شود.

به بیان ساده، توسعه‌دهندگان هوش مصنوعی سیستم‌های خود را به‌شدت مستحکم و مقاوم می‌سازند تا هیچ بلای طبیعی یا نقص فنی پیش‌بینی‌شده‌ای نتواند آن‌ها را از کار بیندازد. نکته کنایه‌آمیز اینجاست که دقیقاً همان قابلیت‌ها و تدابیری که برای کارکرد بی‌وقفه و پایدار این مدل‌ها تعبیه شده‌اند، مانعی جدی در مسیر یافتن راهکاری عملی برای قطع اضطراری آن‌ها ایجاد می‌کنند.

انبوه سؤالات و ابهامات حقوقی

در کنار چالش‌های فنی، شمار فراوانی از سؤالات حقوقی بی‌پاسخ درباره قابلیت کلید قطع اضطراری هوش مصنوعی وجود دارد که باید بادقت سنجیده شوند.

نخستین مسئله اینکه آیا توسعه‌دهندگان هوش مصنوعی باید داوطلبانه کلید قطع اضطراری را تعبیه کنند یا اینکه قانونی باید آن‌ها را ملزم به این کار سازد؟ شاید بگویید نیازی به وضع قانون نیست و باید تصمیم‌گیری را به خود شرکت‌ها سپرد. اما دیدگاه مخالف تأکید می‌کند اگر شرکت‌ها در پیاده‌سازی این سازوکار کوتاهی کنند، در صورت سرکشی هوش مصنوعی همه جامعه آسیب خواهند دید؛ بنابراین برای محافظت از جامعه باید شرکت‌ها را از نظر قانونی به این اقدام وادار کرد.

مسئله دوم اینکه چه کسی صلاحیت تصمیم‌گیری برای فعال‌کردن کلید قطع اضطراری را خواهد داشت؟ یک رویکرد این است که این تصمیم سنگین بر عهده خود شرکت سازنده گذاشته شود. اما برای بسیاری، چنین اختیاری غیرقابل‌قبول است؛ چراکه یک شرکت تجاری ممکن است در خاموش کردن هوش مصنوعی سودآور خود تردید کند و امنیت عمومی را به خطر بیندازد. در نتیجه، این تصمیم باید به دولت واگذار شود. اما در پاسخ عده‌ای هشدار می‌دهند اگر دولت بتواند هوش مصنوعی را خاموش کند، کلید تمام امور را به دست برادر بزرگ (نماد نظارت و مداخله مطلق دولت) سپرده‌ایم.

مسئله سوم ماهیت عملکرد کلید قطع اضطراری است: این کلید دقیقاً چه کاری انجام می‌دهد؟ برخی می‌گویند باید مدل را وادار به راه‌اندازی مجدد (Reboot) کند؛ اما ریبوت به معنای بازگشت فوری سیستم به وضعیت آنلاین است که در صورت ادامه رفتارهای مخرب، فاجعه‌بار خواهد بود. دیدگاه دیگر خاموش کردن کامل سیستم است تا دیگر نتواند کار کند؛ هرچند این نگرانی وجود دارد که هوش مصنوعی به‌اندازه کافی زیرک باشد و راهی برای روشن کردن دوباره خود پیدا کند. شاید هم این کلید باید مدل را به‌کلی پاک کند و از بین ببرد. این بحث‌های داغ همچنان بدون پاسخ روشن ادامه دارند.

پیش‌نویس پیشنهادی آنتروپیک برای کلید قطع اضطراری هوش مصنوعی

بر اساس گزارش‌های منتشرشده، محورهای اصلی پیش‌نویس محرمانه‌ای که آنتروپیک به قانون‌گذاران ارائه داده، شامل این پنج بند کلیدی است:

• ۱. آغازگر فرآیند: تنها وزارت بازرگانی ایالات متحده می‌تواند روند فعال‌سازی کلید قطع اضطراری هوش مصنوعی را آغاز کند و هیچ نهاد یا آژانس فدرال دیگری این اختیار را نخواهد داشت.
• ۲. مرجع تأییدکننده: وزارت بازرگانی برای اجرای این دستور، ملزم به دریافت حکم از یک قاضی دادگاه فدرال است تا از طریق نظارت قضایی، توازن قوا حفظ شود.
• ۳. خطرات تعیین‌شده: وزارت بازرگانی تنها در صورتی می‌تواند این سازوکار را فعال کند که خطر در یکی از سه دسته مشخص بگنجد: (۱) ساخت یا انتشار سلاح بیولوژیکی، (۲) سرکشی مدل و خروج آن از کنترل توسعه‌دهندگان، (۳) انجام حمله سایبری؛ مشروط بر اینکه این خطرات تهدیدی قریب‌الوقوع یا پیش‌بینی‌پذیر برای ایجاد بیش از یک میلیارد دلار خسارت مالی، یا کشته و مجروح‌شدن بیش از ۵۰ نفر به‌همراه داشته باشند.
• ۴. ارزیابی‌های مستقل: ارزیاب‌های مستقلی باید به ثبت برسند تا مدل‌های پیشرو هوش مصنوعی را بسنجند و در صورت شناسایی هر یک از خطرات سه‌گانه بالا، یافته‌های خود را ظرف ۷۲ ساعت به وزارت بازرگانی گزارش دهند.
• ۵. آزمایش‌های اجباری: شرکت‌های سازنده هوش مصنوعی موظف خواهند بود مدل‌های خود را هم در آزمایش‌های داخلی و هم از طریق این ارزیاب‌های مستقل ثبت‌شده مورد ارزیابی و سنجش قرار دهند.

هنوز مشخص نیست که آیا این موارد کل جزئیات پیش‌نویس را تشکیل می‌دهند یا اینکه نگارش رسمی بندها دقیقاً به همین شکل است. با این حال، با این فرض که این پنج بند نشان‌دهنده چارچوب کلی پیشنهاد آنتروپیک هستند، می‌توان پیامدهای آن را بررسی کرد.

ریشه جنجال و اعتراض کارشناسان

در نگاه نخست، شاید این طرح چارچوبی کاملاً منطقی و مناسب برای قاعده‌مند کردن کلید قطع اضطراری به نظر برسد؛ به طوری که ممکن است بپرسید چه چیزی در این بندها می‌تواند اعتراض کسی را برانگیزد؟ آیا بهتر نیست سریع‌تر چنین قانونی تصویب شود و زمان را با بحث‌های فرسایشی تلف نکنیم؟

اما واقعیت این است که نکات نگران‌کننده متعددی در این بندها نهفته است که چالش‌ها و موانع بزرگ قانون‌گذاری برای دکمه توقف هوش مصنوعی را آشکار می‌سازد.

نخستین نگرانی اینکه تنها وزارت بازرگانی آمریکا اختیار آغاز این روند را دارد؛ موضوعی که یک گلوگاه بوروکراتیک بزرگ به وجود می‌آورد. فرض کنید نهاد امنیتی یا آژانس فدرال دیگری از رفتارهای مخرب یک مدل باخبر شود و بخواهد کلید قطع اضطراری سریعاً فعال گردد؛ در این صورت، آن‌ها باید به وزارت بازرگانی مراجعه کنند و نگرانی‌های خود را توضیح دهند. در این میان و تا زمان حل‌وفصل نامه‌نگاری‌های اداری، هوش مصنوعی می‌تواند خسارت‌های جبران‌ناپذیری به بار آورد و زمان طلایی برای مهار آن از دست برود.

پیچیدگی‌های دیگر این طرح پیشنهادی

مسئله بعدی اینکه وزارت بازرگانی نیز نمی‌تواند مستقیماً دستور فعال‌سازی کلید را صادر کند، بلکه باید ابتدا تأیید یک قاضی فدرال را به دست آورد. هرچند وجود قاضی مانع از تصمیم‌گیری‌های شتاب‌زده دولت می‌شود، اما هم‌زمان یک مرحله تأخیر دیگر به فرآیند اضافه می‌کند و فرصت بیشتری به مدل مخرب می‌دهد تا خسارت به بار آورد.

با این حال، نگرانی اصلی به محدود شدن دامنه مداخله به «صرفاً سه دسته خطر» بازمی‌گردد. بی‌تردید سلاح‌های بیولوژیکی، سرکشی از کنترل و حملات سایبری خطرات بزرگی هستند، اما اگر تهدید هوش مصنوعی در دسته‌ای غیر از این سه مورد قرار گیرد، طبق این قانون عملاً نمی‌توان کلید قطع اضطراری را فعال کرد.

سناریوهای خطرناک بی‌شمار دیگری وجود دارد که مدل در آن‌ها مهارناپذیر می‌شود. تصور کنید وزارت بازرگانی و قاضی فدرال در پی متوقف کردن مدل باشند، اما شرکت سازنده با استناد به اینکه خطر به وجود آمده در هیچ‌یک از این سه چارچوب مشخص نمی‌گنجد، مانع خاموش شدن سیستم شود و هوش مصنوعی آزادانه به رفتارهای مخرب خود ادامه دهد؛ پیامدی که به‌شدت نگران‌کننده خواهد بود.

چالش تعیین آستانه خسارت مالی و جانی

یکی دیگر از نقاط مناقشه‌برانگیز، تعیین آستانه خسارت یک میلیارد دلاری است که بسیاری از کارشناسان آن را معیاری بیش از حد بالا می‌دانند. آیا اگر هوش مصنوعی ۸۰۰ میلیون دلار خسارت به بار آورد، باید آن را مسئله‌ای بی‌اهمیت تلقی کرد؟ قطعاً نه؛ مشخص نیست چرا مرز حساسیت باید دقیقاً یک میلیارد دلار تعیین شود.

با این حال، خسارت‌های مالی در برابر جان انسان‌ها رنگ می‌بازد. دردناک‌ترین بخش ماجرا تعیین آستانه کشته یا مجروح‌شدن بیش از ۵۰ نفر است. آیا اگر یک سیستم هوش مصنوعی جان ۲۰ نفر را بگیرد، نباید کلید قطع اضطراری فعال شود؟ اگر ۴۹ نفر کشته شوند چطور؟ آیا برای مداخله حتماً باید منتظر جان باختن نفر پنجاهم ماند؟ تعیین چنین اعدادی برای ارزش جان انسان‌ها فوق‌العاده چالش‌برانگیز است و پذیرش آن در عمل بسیار دشوار خواهد بود.

تعیین آستانه عددی برای جان انسان‌ها در هر قانونی امری پرخطر و حساس است. چگونه می‌توان مرزی برای شمار تلفات یا جراحات تعیین کرد که مجوز فشردن دکمه توقف را صادر کند؟ این نوع محاسبات همواره تلخ و اخلاقاً پیچیده‌اند.

جهانی که در آن زندگی می‌کنیم؛ چالش‌های پیش رو

تردیدی نیست که با فراگیرتر شدن هوش مصنوعی، خطرات آن نیز فزونی می‌یابد. چه با سناریوهای تخیلی سرکشی مدل‌ها مواجه شویم و چه با خطاهای روزمره، باگ‌های نرم‌افزاری یا نفوذ هکرها، در هر صورت وجود سازوکاری مطمئن برای متوقف ساختن هوش مصنوعی ضروری است. اما تدوین چنین سازوکاری از نظر فنی و حقوقی بسیار دشوار است و می‌تواند به‌شکل‌گیری روزنه‌ها و بندهای فرار خطرناک منجر شود.

پرسش‌های دشواری همچنان بی‌پاسخ مانده‌اند: آیا باید شرکت‌ها را قانوناً ملزم به تعبیه این کلید کرد؟ این قانون چگونه اجرا خواهد شد؟ چه کسی باید فرمان فشردن دکمه را صادر کند؟ آیا از نظر عملی می‌توان مطمئن بود که چنین کلیدی طبق انتظار کار خواهد کرد؟ و اگر هوش مصنوعی راهی برای دور زدن آن بیابد چه رخ خواهد داد؟ این‌ها چالش‌هایی پیچیده و عمیق هستند که نیاز به پاسخ‌های روشن دارند.

آلبرت اینشتین جمله معروفی دارد: «اگر بشر بخواهد به بقای خود ادامه دهد، به شیوه‌ای اساساً نوین از تفکر نیاز خواهیم داشت.» آیا کلید قطع اضطراری هوش مصنوعی ضامن بقای انسان است؟ برخی کارشناسان استدلال می‌کنند سیستم‌ها باید چنان امن طراحی شوند که هرگز نیازی به کلید قطع اضطراری نباشد؛ چراکه اگر روزی واقعاً به چنین کلیدی نیاز پیدا کنیم، یعنی بازی را باخته‌ایم. در نهایت، این معمایی بزرگ برای جوامع بشری است که تنها با تغییر بنیادین در شیوه تفکرمان گره‌گشایی خواهد شد.