کلافگی برنامه‌نویسان از فیلترهای ایمنی هوش مصنوعی؛ وقتی گاردریل‌های سخت‌گیرانه سوهان روح می‌شوند!

در مراسم افتتاحیه رویداد اخیر روز توسعه‌دهندگان اوپن‌ای‌آی (OpenAI DevDay)، همه صحبت‌ها حول محور افزایش سرعت و کاهش چشمگیر هزینه‌ها می‌چرخید؛ اما بیرون از سالن اصلی، در راهروها و صف خرید وسایل یادگاری، دغدغه اصلی برنامه‌نویسان چیز دیگری بود: ساعت‌های طولانی و کلافه‌کننده‌ای که هر روز برای دور زدن فیلترهای ایمنی و گاردریل‌های سخت‌گیرانه مدل‌ها از دست می‌دهند!

توسعه‌دهندگان حاضر در این رویداد می‌گویند سیستم‌های امنیتی اوپن‌ای‌آی و آنتروپیک، کار‌های کاملاً روتین و روزمره در زمینه‌های هوافضا، رباتیک و امنیت شبکه را به‌عنوان فعالیت‌های پرخطر علامت‌گذاری می‌کنند. این حساسیت‌های بی‌مورد زمان باارزش آن‌ها را تلف کرده و جریان کاری عادی‌شان را مختل می‌کند. برخی از برنامه‌نویسان حتی تعریف می‌کنند وقتی یک مدل سرسختانه از پاسخ دادن طفره می‌رود، چاره‌ای جز بستن کل مکالمه یا بردن کار‌های حساس سراغ مدل‌های دیگر برایشان باقی نمی‌ماند.

این در حالی است که ایجنت‌های هوش مصنوعی امروزه به عضو جدایی‌ناپذیر محیط‌های برنامه‌نویسی تبدیل شده‌اند. بر اساس گزارش سال ۲۰۲۶ شرکت جت‌برینز (JetBrains) از اکوسیستم توسعه‌دهندگان که با نظرسنجی از بیش از ۱۵ هزار برنامه‌نویس حرفه‌ای تهیه شده، ۹۰ درصد متخصصان حداقل به‌صورت هفتگی از ایجنت‌های کدنویسی استفاده می‌کنند و جالب‌تر این‌که ۶۸ درصد آن‌ها هر روز با این ابزار‌ها سر و کار دارند. 

گلایه‌های برنامه‌نویسان در شرایطی بالا گرفته که اوپن‌ای‌آی تلاش می‌کند هشدارهای اشتباه و رد کردن درخواست‌های بی‌خطر را کاهش دهد، اما هم‌زمان برای مدل‌های پیشرفته‌تر خود لایه‌های حفاظتی سفت‌وسخت‌تری در نظر می‌گیرد. اوپن‌ای‌آی روی صحنه همین مراسم، از مدل جدید GPT-6.1 Sol رونمایی کرد؛ مدلی که به ادعای سازندگانش، در کدنویسی و استفاده از محیط کامپیوتر عملکردی بسیار نزدیک به مدل پرچم‌دار GPT-6 Astra ارائه می‌دهد، اما هزینه توکن‌های آن تنها یک‌پنجم مدل Astra است. 

اوپن‌ای‌آی همچنین ادعا می‌کند مدل‌های سری GPT-6 نسبت به نسل‌های قبلی بسیار کم‌تر درخواست‌های بی‌خطر را رد می‌کنند. با این حال، شناسنامه سیستمی (System Card) مدل Sol نشان می‌دهد که اوپن‌ای‌آی این مدل را از نظر خطرات امنیت سایبری در رده «بحرانی» (Critical) قرار داده و دقیقاً از همان زنجیره لایه‌های امنیتی مدل GPT-6 Astra برای آن بهره برده است. در شناسنامه Astra نیز تأکید شده که این، «نخستین مدل اوپن‌ای‌آی است که طبق چارچوب آمادگی این شرکت، به سطح بحرانی در توانمندی‌های امنیت سایبری رسیده است». اوپن‌ای‌آی می‌گوید اگر ابزار‌ها و دسترسی‌های لازم در اختیار این مدل باشد، می‌تواند آسیب‌پذیری‌های ناشناخته را در امن‌ترین سیستم‌ها کشف کرده و بدون نیاز به هدایت گام‌به‌گام انسان در آن‌ها نفوذ کند. جالب این‌که به گزارش وال‌استریت ژورنال، اوپن‌ای‌آی به دلیل همین نگرانی‌های امنیتی، عرضه نسخه GPT-6.1 Astra را لغو کرده است.

اوپن‌ای‌آی در واکنش به این انتقادات رسماً پذیرفته که لایه‌های محافظتی‌اش گاهی ممکن است کار‌های مشروع و قانونی کاربران را مختل کند. این شرکت اعلام کرده اگرچه مدل‌های GPT-6 Astra و GPT-6.1 Sol نسبت به سری GPT-5 کم‌تر درخواست‌های بی‌خطر را رد می‌کنند، اما بررسی‌های ایمنی مضاعف همچنان می‌تواند «کار‌های قانونی از جمله پروژه‌های امنیت سایبری دفاعی را کند کرده، موقتاً متوقف سازد یا کلاً به بن‌بست بکشاند». اوپن‌ای‌آی تأکید کرده که کار روی بهینه‌سازی این فیلترها را ادامه می‌دهد تا وقفه‌های غیرضروری به کم‌ترین حد ممکن برسد.

با این حال، در شرایطی که قیمت استفاده از مدل‌ها مدام افت می‌کند، برنامه‌نویسان معتقدند این مخالفت‌های وسواس‌گونه هزینه پنهان دیگری به آن‌ها تحمیل می‌کند: اتلاف وقت جبران‌ناپذیر.

ماهواره‌ای که اصلاً وجود ندارد!

«الخاندرو کاراسکو»، دانشجوی سال دوم کارشناسی ارشد در دپارتمان هوانوردی و فضانوردی دانشگاه MIT، در حوزه‌ای فعالیت می‌کند که مثل آهنربا فیلترهای ایمنی مدل‌ها را به خود جذب می‌کند: تلفیق نرم‌افزار و فضا! او با آزمایشگاهی در دانشگاه استنفورد همکاری داشته تا کنترل فضاپیماهای شبیه‌سازی‌شده را به ایجنت‌های مبتنی بر مدل‌های زبانی بسپارد و بیازماید که آیا یک مدل هوش مصنوعی می‌تواند در هدایت مأموریت‌های فضایی، عملکردی بهتر از الگوریتم‌های سنتی یادگیری تقویتی به نمایش بگذارد یا نه.

کاراسکو می‌گوید تاکنون با مسدودسازی مستقیم مواجه نشده، اما مدل‌ها مدام به دستورات او به چشم رفتارهای مشکوک نگاه می‌کنند.

او در این‌باره می‌گوید: «از آنجا که در دپارتمان فضایی کار می‌کنم، مدل گاهی اوقات خیال می‌کند قصد دارم فعالیت‌های نظامی انجام دهم! در حالی که من صرفاً با یک ماهواره کار می‌کنم و مدل هوش مصنوعی درک نمی‌کند که این ماهواره فقط یک مدل شبیه‌سازی‌شده است و واقعیت خارجی ندارد.»

او اشاره می‌کند که مدل‌ها گاهی درخواست‌هایش را طوری علامت‌گذاری می‌کنند که گویی پای داده‌های حساس دفاعی یا سطوح محرمانگی نظامی در میان است، در حالی که او هیچ مجوزی از این دست ندارد. وقتی از او درباره عملکرد آزمایشگاه‌های پیشرو پرسیده شد، بی‌درنگ از آنتروپیک نام برد: «کلود (Claude) در این زمینه به‌مراتب سرسخت‌تر و تهاجمی‌تر عمل می‌کند.»

کاراسکو معتقد است که تاریخچه گفت‌وگوها اوضاع را بد‌تر هم می‌کند؛ چرا که وقتی مدلی به یک کاربر یا پروژه شک کند، تغییر نظر آن تقریباً غیرممکن است: «همین که احساس کنم چت به نقطه‌ای بی‌بازگشت رسیده یا مدل دارد به این نتیجه می‌رسد که به سوالم جواب ندهد، بلافاصله مکالمه را می‌بندم و به سراغ مدل دیگری می‌روم.»

بازوهای رباتیک و نشست‌های حساس SSH

«مارتین کمکا»، از فعالان حوزه رباتیک، می‌گوید موانعی که با آن‌ها روبه‌رو می‌شود دقیقاً در ساده‌ترین و روزمره‌ترین بخش‌های پروژه‌ها اتفاق می‌افتند.

کمکا توضیح می‌دهد: «هر زمان که روی پروژه‌های رباتیک کار می‌کردم، حتی کار‌های کاملاً پیش‌پاافتاده، هشدارهای بی‌پایان امانم را می‌برید. کار‌های بسیار ساده‌ای مثل طراحی رابط کاربری برای یک بازوی مکانیکی یا اتصال از طریق پروتکل SSH به یک سیستم دیگر، با دیواری از مخالفت‌ها و ریجکت‌های مدل روبه‌رو می‌شد.»

کاراسکو نیز که سابقه کار با بازوهای رباتیک مختلف مانند پروژه متن‌باز SO-101 و بازوی UR5 شرکت Universal Robots را دارد، می‌گوید نقطه حساسیت این مدل‌ها به نظر می‌رسد مسئله «سطح دسترسی» باشد. به‌محض این‌که از مدل بخواهید به متغیرها یا پارامترهای یک سخت‌افزار واقعی دسترسی پیدا کند، دستپاچه می‌شود و محدودیت‌ها را فعال می‌کند. به گفته او، چند ماه پیش یکی از مدل‌ها در آستانه رد کامل درخواست قرار گرفت و در عوض از او خواست به‌طور صریح و با ذکر نام بنویسد که شخصاً اجازه دسترسی مدل به دوربین و حسگر‌های سیستم را صادر کرده است!

در این میان، کمکا گزارش می‌دهد که هنگام استفاده از مدل Astra در شبیه‌ساز MicroVerse هیچ مشکلی نداشته است؛ محیطی که در آن ربات‌های مجازی را برای حفظ تعادل، کشتی سومو و رد شدن مخفیانه از مقابل نگهبانان آموزش داده بود. اما به گفته او، درست از لحظه‌ای که از مدل خواسته می‌شود با یک قطعه سخت‌افزاری واقعی در دنیای فیزیکی ارتباط برقرار کند یا به سیستم دیگری متصل شود، بهانه‌گیری‌ها و پاسخ ندادن‌های مدل آغاز می‌شود.

لغو اشتراک به‌خاطر سخت‌گیری‌های اعصاب‌خردکن

«الویس ساراویا»، هم‌بنیان‌گذار پلتفرم DAIR.AI و نویسنده راهنمای معروف پرامپت‌نویسی (Prompt Engineering Guide)، می‌گوید که او هم خطرات و پیامدهای این فناوری را کاملاً جدی می‌گیرد.

او می‌گوید: «من یک سازنده‌ام، اما به ایمنی هم عمیقاً فکر می‌کنم و حواسم به آسیب‌ها و سوءاستفاده‌های احتمالی از این مدل‌ها هست.»

با این همه، او این رد درخواست‌های پیاپی را «دردسری بزرگ» برای کاربران فنی و متخصصان می‌داند: «واقعیت این است که این اتفاق یک تجربه کاربری شدیداً کلافه‌کننده است.» او اضافه می‌کند دیدن این‌که فیلترهای بیش‌ازحد محتاط جلوی خلق ایده‌ها و ابزار‌های مورد نظر افراد را می‌گیرند، اصلاً خوشایند نیست.

ساراویا می‌گوید این مخالفت‌های افراطی که به تعبیر او «کاملاً آشکار و غیرمنطقی» بودند، سرانجام او را به این نقطه رساند که اشتراک پولی خود در آنتروپیک را لغو کند! او در حال حاضر از مدل GPT-6 Astra استفاده می‌کند؛ مدلی که به عقیده او در مقایسه با سایر غول‌های پیشرو، کم‌ترین رفتار تهاجمی و وسواس بی‌جا را نشان می‌دهد.

وقتی متخصصان امنیت هم متهم به هک می‌شوند!

«روهان بالکوندکار» که فعالیت حرفه‌ای خود را میان شرکت Xsolla و استارتاپ VibeGrow (یک ایجنت رشد که خود از بنیان‌گذاران آن است) تقسیم کرده، می‌گوید تیمش بخش اعظم کدنویسی‌ها را با ابزار Codex اوپن‌ای‌آی و کلود آنتروپیک انجام می‌دهند. او تأکید دارد که پرامپت‌های مربوط به امنیت سایبری بیش‌ترین شانس را برای برخورد به دیوار فیلترها دارند!

بالکوندکار با کنایه می‌گوید: «آن‌ها از کلمه سایبر متنفرند! کافی است در چت بگویید امنیت سایبری، تا مدل فوراً دست رد به سینه‌تان بزند و بگوید نه، ابداً!»

او توضیح می‌دهد بسیاری از کدهایی که تیمش باید صحت‌سنجی کند، از سوی برنامه‌نویسان متن‌باز ارائه شده‌اند؛ و بازبینی کدهای شخص ثالث برای یافتن رخنه‌ها و باگ‌های امنیتی، دقیقاً یکی از همان سناریوهایی است که آژیر خطر گاردریل‌ها را به صدا درمی‌آورد. به گفته او، این گره کور با ورود نسل جدید مدل‌های پرچم‌دار نظیر سری مدل‌های Fable آنتروپیک و خانواده GPT-6 اوپن‌ای‌آی حتی پیچیده‌تر و آزاردهنده‌تر هم شده است.

اوپن‌ای‌آی در واکنش، به برنامه اختصاصی خود به نام Daybreak Access اشاره کرده است؛ طرحی که دسترسی مطمئن و مجاز را برای سازمان‌های واجد شرایط و متخصصان امنیت سایبری فراهم می‌کند. این شرکت می‌گوید این طرح از فعالیت‌های امنیتی تدافعی مانند ارزیابی امنیت کدها، تریاژ آسیب‌پذیری‌ها، پاسخ به حوادث و تحلیل بدافزارها پشتیبانی به عمل می‌آورد.

آنتروپیک نیز پذیرفته که سیستم‌های ایمنی‌اش با چالش جدی تشخیص‌های اشتباه (False Positives) روبه‌رو هستند. مدل‌های سری Fable این شرکت به فیلترهایی مجهزند که در صورت مشاهده درخواست‌های سایبری و بیولوژیکی، مکالمه را به مدل‌های رده‌پایین‌تر هدایت می‌کنند! پس از رونمایی از مدل Fable 5 در ماه ژوئن، اعتراضات گسترده برنامه‌نویسان نسبت به بلاک شدن درخواست‌های کاملاً بی‌خطر باعث شد تا آنتروپیک رسماً اعلام کند در متوازن کردن امنیت و کارایی دچار اشتباه شده بود. حالا با معرفی Fable 5.1 در این ماه، آنتروپیک وعده داده که گاردریل‌های جدید اجازه کشف آسیب‌پذیری در سورس‌کدها را می‌دهند و میزان توقف‌های ناخواسته در هر سشن ابزار Claude Code حدود ۶۰ درصد کم‌تر خواهد شد؛ هرچند اموری مانند تست نفوذ، تولید اکسپلویت و اسکن‌های باینری همچنان از دسترس مدل‌های پیشرفته Fable خارج خواهند ماند.

آنتروپیک تا لحظه انتشار این گزارش، به درخواست‌ها برای ارائه توضیحات بیش‌تر پاسخی نداده است.

پناه بردن به مدل‌های متن‌باز برای دور زدن سد فیلترها

وقتی مدل‌های انحصاری در پاسخ دادن به توسعه‌دهندگان لجاجت می‌کنند، تیم بالکوندکار به سراغ مدل‌های آزاد و متن‌باز، از جمله مدل Kimi از شرکت Moonshot AI می‌روند. بالکوندکار می‌گوید هزینه‌ها قبلاً هم انگیزه‌ای برای کاوش در دنیای متن‌باز بود، اما این مخالفت‌های پی‌درپی دلیل بسیار محکمی شد تا آن‌ها بخش بیشتری از کارهایشان را به مدل‌های باز بسپارند.

کاراسکو نیز برای تحقیقاتش از مدل کوئن (Qwen) محصول شرکت علی‌بابا استفاده می‌کند و یادآور می‌شود که بسیاری از چرخه‌های توسعه به یک مدل محلی، چابک و سریع بیش‌تر از یک ابرمدل انحصاری نیاز دارند؛ به‌ویژه زمانی که یکی از اعضای کامیونیتی متن‌باز از قبل آن مدل را برای همان کاربرد خاص به‌دقت فاین‌تیون کرده باشد. کمکا هم در این زمینه به اپلیکیشن Apfel اشاره دارد؛ ابزاری که به برنامه‌نویسان اجازه می‌دهد از مدل زبانی توکار اپل در جدید‌ترین نسخه مک‌اواس (macOS) به شکل یک API محلی روی سیستم خود استفاده کنند. 

برای بالکوندکار، مدل‌های متن‌باز حکم یک برنامه پشتیبان مطمئن را دارند؛ آن هم درست زمانی که غول‌های بسته به نیازهای تیم پاسخ نمی‌دهند: «وقتی مدل‌های بسته‌ای مثل آنتروپیک و اوپن‌ای‌آی کار را رد می‌کنند، ما برای پیشبرد همان کار‌ها سراغ مدل‌های متن‌باز می‌رویم؛ چون در نهایت این وظیفه باید انجام شود و هیچ انسانی نمی‌تواند بنشیند و همه این حجم عظیم از کدها را دستی بازبینی کند!»