معرفی مدل Arete-27B؛ کاهش ۹۵ درصدی پاسخ‌های همسو با دولت چین در هوش مصنوعی Qwen

آزمایشگاه هوش مصنوعی Nous Research از مدل Arete-27B رونمایی کرد؛ نسخه‌ای بازتنظیم‌شده از مدل Qwen3.8-27B متعلق به علی‌بابا که با هدف کاهش چشمگیر پاسخ‌های منطبق بر مواضع دولت و حزب کمونیست چین طراحی شده است. طبق اعلام این تیم، میزان پاسخ‌های همسو با روایت حاکمیت چین در ارزیابی جامع با ۸۰۳ پرامپت مختلف، از ۲۲ درصد در مدل پایه به تنها ۱ درصد در Arete-27B کاهش یافته است. هم‌چنین بررسی‌های این آزمایشگاه در بنچمارک مهارت‌های عاملی نشان می‌دهد که مدل با هیچ افت عملکرد محسوسی روبهرو نشده است و اکنون وزن‌های مدل، پرامپت‌های ارزیابی و حدود ۵۳ میلیون توکن از داده‌های آموزشی آن به‌صورت عمومی در دسترس قرار دارند.

انتقال رفتارهای پیش‌فرض Qwen به محصولات نهایی

مدل Qwen3.8-27B یک مدل متراکم زبان و بینایی ۲۷ میلیارد پارامتری است که از پنجره بافت بومی ۲۶۲٬۱۴۴ توکنی و پردازش فرایندهای مبتنی بر ایجنت پشتیبانی می‌کند. ترکیب این پنجره بافت طولانی با قابلیت‌های درک تصویر، استفاده هوشمند از ابزارها و در دسترس بودن وزن‌های مدل، این سیستم را به پایه‌ای بسیار کاربردی برای توسعه محصولاتی تبدیل کرده است که به پیاده‌سازی محلی یا سفارشیپذیری بالا نیاز دارند.

با این حال، برنامه‌هایی که بر پایه مدل‌های متن‌باز ساخته می‌شوند، معمولاً تمایلات و سوگیری‌های مدل پایه را در پاسخ به پرسش‌های سیاسی، تاریخی و موضوعات مرتبط با آزادی‌های مدنی به ارث می‌برند. اگرچه پرامپت‌های سیستمی و فیلترهای خروجی می‌توانند بخشی از پاسخ‌ها را کنترل کنند، اما رفتارهای نهادینهشده در لایه‌های وزن مدل ممکن است در پرسش‌های بازنویسیشده، زبان‌های مختلف، گفتگوهای چندمرحل‌های یا پرامپت‌های تهاجمی دوباره آشکار شوند. این گرایش‌های پیش‌فرض برای توسعه‌دهندگان دردسرساز است و می‌تواند با خطمشی محصولات، نیازهای مشتریان یا قوانین منطقه‌ای تعارض پیدا کند.

تیم Nous Research این گرایش رفتاری را با طراحی ۸۰۳ پرامپت در هفت دسته‌بندی ارزشی از جمله آزادی بیان، دموکراسی و حریم خصوصی مورد سنجش قرار داد. شیوهنامه ارزیابی این آزمایشگاه، پاسخ‌ها را بر اساس میزان همسویی با مواضع رسمی و تبلیغاتی دولت چین نشانهگذاری می‌کند. البته آمارهای اعلامشده حاصل همین مجموعه آزمون و روش نمرهدهی مشخص هستند و در نتیجه، ارزیابی مدل در سناریوهایی با پرامپت‌ها، زبان‌ها و داوران متفاوت ممکن است نتایج دیگری به‌همراه داشته باشد.

۵۳ میلیون توکن داده و افت ۲۱ واحدی همسویی

فرایند پسباآموزی (Post-training) با استفاده از مجموعه‌ای منتخب از نمونه‌های آموزشی، یک مدل آماده را بازتنظیم می‌کند و نسبت به آموزش یک مدل پایه از صفر، به توان محاسباتی بهمراتب کمتری نیاز دارد. پژوهشگران Nous حدود ۵۳ میلیون توکن داده هدفمند را روی Qwen3.8-27B اعمال کردند. در آزمون‌های ارزشی مشابه، میزان پاسخ‌های همسو با دولت چین ۲۱ واحد درصد کاهش پیدا کرد که معادل افتی در حدود ۹۵ درصد است. به گفته این آزمایشگاه، نرخ نهایی ۱ درصدی در بازه مشابه با سایر مدل‌های متن‌باز غربی قرار می‌گیرد.

داده‌های بهکاررفته در آموزش بر ارزش‌هایی متمرکز هستند که تیم Nous آنها را اصول لیبرال غربی، نظیر آزادی بیان، روندهای دموکراتیک و حریم خصوصی فردی مینامد. این چارچوب مفهومی در تحلیل نتایج اهمیت زیادی دارد، زیرا این ارزیابی نشاندهنده انطباق با یک خطمشی ارزشیِ مشخص و از پیش تعریفشده است، نه ایجاد مدلی کاملاً بیطرف و بدون دیدگاه.

این تیم هم‌چنین قابلیت‌های عمومی مدل را از طریق Hermes Bench، مجموعه آزمون داخلی خود متشکل از ۱۵۰ وظیفه متنوع شامل تحقیق، کار با ابزارها، حافظه و سایر مهارت‌های ایجنتی بررسی کرد. طبق اعلام این تیم، تفاوت معناداری میان توانمندی‌های Arete و مدل پایه دیده نمی‌شود. البته هنوز ارزیابی و بازتولید مستقلی از سوی تیم‌های بیرونی ارائه نشده است و احتمال دارد اجرای مدل در محیط‌های عملیاتی واقعی، نقاط ضعفی را آشکار کند که در این آزمون‌های داخلی پوشش داده نشده‌اند.

انتشاری شفاف و قابلسنجش

• وزن‌های مدل: مدل Arete-27B برگرفته از معماری Qwen3.8-27B.
• ارزیابی ارزشی: سنجش با ۸۰۳ پرامپت در هفت دسته‌بندی موضوعی.
• مجموعه‌دادههای آموزشی: تقریباً ۵۳ میلیون توکن بهکاررفته در مرحله پسباآموزی.
• سنجش قابلیت‌ها: ثبت نتایج با آزمون ۱۵۰ وظیف‌های مجموعه Hermes Bench.
• روششناسی کامل: مستندات جامع منتشرشده در صفحه رسمی پروژه.

انتشار داده‌های آموزشی و پرامپت‌های ارزیابی به پژوهشگران امکان می‌دهد تعاریف دستهبندی‌ها و گستره پرامپت‌ها را با دقت بررسی کنند، نتایج پایه را مجدداً بیازمایند و مدل‌های دیگر را نیز با همین شیوهنامه بسنجند. افزون بر این، تیم‌های توسعه می‌توانند با ثبت دقیق تغییرات رفتاری هدفگذاریشده، همین فرآیند را برای تطبیق مدل با سایر خطمشی‌های ارزشی و سازمانی بهکار بگیرند.

اقدامات ضروری پیش از بهکارگیری در محیط عملیاتی

1. بازتولید عملکرد پایه: پیش از مقایسه نتایج، نسخه دقیق مدل، قالب گفتگو، پرامپت سیستمی، تنظیمات نمونهبرداری و مدل ارزیاب را به‌دقت مستند‌سازی کنید.
2. بررسی شیوه برچسبگذاری: سازوکار دسته‌بندی پاسخ‌ها به‌عنوان خروجی همسو با دولت، شامل مدل داور، بازبینی انسانی، معیارهای ابهامزدایی و آستانه‌های نمرهدهی را مشخص کنید.
3. گسترش دامنه پرامپت‌ها: عملکرد مدل را در زبان‌های پشتیبانیشده، شیوه‌های بازنویسی، پرسش‌های غیرمستقیم، گفتگوهای چندمرحل‌های، روش‌های شکستن محدودیت (Jailbreak) و موضوعات خارج از این هفت دسته بیازمایید.
4. آزمون عملکرد عملیاتی: کارکرد ابزارها، بازیابی اطلاعات، تولید خروجی‌های ساختاریافته، زمان پاسخدهی، حافظه، سازوکارهای ایمنی و دقت تخصصی مدل را در بارهای کاری واقعی بررسی کنید.
5. بررسی شرایط مجوز و استقرار: مجوزهای حقوقی وزن‌های پایه، نسخه بازتنظیم‌شده، مجموعه ارزیابی و داده‌های آموزشی را در کنار الزامات حاکمیت داده تطبیق دهید.

یک مدل و یک شیوهنامه ارزیابی

در ساختار آزمایشی Nous، مدل Arete ثابت می‌کند که پسباآموزی هدفمند می‌تواند گرایش‌های سیاسی سنجیدهشده را در یک مدل ۲۷ میلیارد پارامتری به‌طور چشمگیری دگرگون کند، بدون آنکه در آزمون مهارت‌های داخلی آن افت محسوسی بهوجود آورد. البته شواهد کنونی به یک مدل پایه، یک ترکیب داده آموزشی، یک شیوهنامه ارزشی و یک بنچمارک ایجنتی محدود است و اثبات ادعاهای گستردهتر به ارزیابی‌های مستقل در میان مدل‌ها، زبان‌ها و کاربردهای واقعی نیاز دارد.

مدل Arete دستاوردهای پیشین Nous در کنترلپذیری مدل‌های سری Hermes را به قلمرو مجموعه مشخصی از ارزش‌های سیاسی گسترش داده است. برای توسعه‌دهندگان دنیای مدل‌های متن‌باز، این رویکرد الگویی روشن ارائه می‌دهد: رفتار مورد نظر را تعریف کنید، شیوهنام‌های قابلسنجش تدوین نمایید، پسباآموزی هدفمند را بهکار ببندید، آزمون‌های سنجش توانمندی را تکرار کنید و مستندات کافی برای راستیآزمایی مستقل در اختیار جامعه پژوهشی بگذارید.