برنامه‌نویسی در فضای وزن‌ها؛ ویرایش مستقیم شبکه‌های عصبی بدون نیاز به آموزش مجدد
پژوهشگران دانشگاه MIT با معرفی مفهوم برنامه‌نویسی در فضای وزن‌ها نشان دادند که مدل‌های هوش مصنوعی می‌توانند با خواندن و ویرایش مستقیم وزن‌های یک شبکه عصبی، خطاهای آن را بدون آموزش مجدد برطرف کنند. در این آزمایش، مدل GPT-6 Astra با تغییر تنها بخش بسیار ناچیزی از وزن‌های مدل Qwen، مهارت‌های ریاضی آن را تا ۶ برابر ارتقا داد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- پژوهشگران دانشگاه MIT روش نوینی به نام برنامه‌نویسی در فضای وزن‌ها ابداع کرده‌اند که به مدل‌های بزرگ امکان می‌دهد وزن‌های شبکه‌های دیگر را مستقیماً مانند کدهای برنامه‌نویسی بخوانند و ویرایش کنند.
- مدل GPT-6 Astra موفق شد با اصلاح کمتر از دو صدم درصد از وزن‌های مدل Qwen3.5-0.8B و بدون نیاز به آموزش مجدد، عملکرد ریاضی آن را حدود ۶ برابر بهتر کند.
- این روش امکان جراحی دقیق خطاهای رفتاری مدل‌های هوش مصنوعی و طراحی شبکه‌های عصبی جدید را از طریق دستورهای ساده متنی فراهم می‌آورد.
آشنایی با برنامه‌نویسی در فضای وزن‌ها
برنامه‌نویسی در فضای وزن‌ها (Weight-Space Programming یا WSP) مفهومی نوین است که پژوهشگران آزمایشگاه هوش مصنوعی و علوم کامپیوتر دانشگاه MIT (معروف به CSAIL) در مقاله‌ای با عنوان جرقه‌های برنامه‌نویسی در فضای وزن‌ها مطرح کرده‌اند. این مفهوم شیوه‌ای را توصیف می‌کند که در آن، یک مدل زبانی بزرگ عمومی، وزن‌های یک شبکه عصبی دیگر را مستقیماً می‌خواند و بر اساس دستورالعمل‌های زبان طبیعی بازنویسی می‌کندرویکردی که فرایند آموزش سنتی با الگوریتم‌های بهینه‌ساز یا گرادیان کاهشی را به‌کلی دور می‌زند.
در آزمایش‌های انجام‌شده، مدل GPT-6 Astra متعلق به OpenAI موفق شد تنها با بررسی وزن‌های خام شبکه‌های عصبی کوچک، کارکرد و هدف آموزش آن‌ها را تشخیص دهد. این مدل هم‌چنین شبکه‌هایی مخصوص اجرای بازی را از صفر تولید کرد که توانستند عامل‌های الگوریتم PPO را پس از ۱۰۰ میلیون گام آموزش شکست دهند. افزون بر این، مهارت‌های حل مسائل ریاضی در مدل Qwen3.5-0.8B با همین روش نزدیک به ۶ برابر ارتقا پیدا کرد. انتشار این دستاورد بازتاب بسیار گسترده‌ای در شبکه اجتماعی X داشت و توجه هزاران پژوهشگر و کارشناس دنیای هوش مصنوعی را به خود جلب کرد.
ایده محوری و سازوکار اصلی
به‌طور سنتی همواره دو راهبرد برای بهبود عملکرد یک مدل هوش مصنوعی وجود داشته است: تغذیه داده‌های بیشتر به‌همراه آموزش مبتنی بر گرادیان، یا بهینه‌سازی پرامپت‌ها و به‌کارگیری ابزارهای کمکی بیرونی. با این حال، رویکرد برنامه‌نویسی در فضای وزن‌ها راهکار سومی پیش رو می‌گذارد: نگاه به وزن‌های شبکه عصبی به‌مثابه خطوط کدی که می‌توان آن‌ها را خواند و ویرایش کرد. در این شیوه، مدلی قدرتمندتر درباره محاسبات هر بخش تصمیم‌گیری کرده و وزن‌ها را دقیقاً مانند ویرایش خطوط برنامه تغییر می‌دهد.
مهم‌ترین آزمایش‌ها و نتایج به‌دست‌آمده
عنوان آزمایش | نتیجه به‌دست‌آمده |
|---|---|
خواندن وزن‌ها | تشخیص نوع بازی آموزش‌داده‌شده به شبکه کوچک (مانند بازی Breakout) صرفاً بر اساس بررسی وزن‌های خام |
تولید و نوشتن شبکه‌ها | طراحی شبکه‌های خط‌مشی کوچک از صفر و بدون دریافت بازخورد محیطی؛ با عملکردی برتر از عامل‌های PPO پس از ۱۰۰ میلیون گام آموزش |
اصلاح خطاهای Qwen3.5-0.8B | ردیابی حلقه‌های تکرار تفکر به یک راستای مشخص در لایه‌های ۱۵ و ۱۹ (بخش MLP) و حذف آن؛ با ویرایش تنها ۱۳۱٬۰۷۲ پارامتر (معادل ۰٫۰۱۶ درصد از کل وزن‌ها) |
آزمون‌های ریاضی | جهش امتیاز در بنچمارک MATH-500 از ۷٫۹ درصد به ۴۸٫۱ درصد و در GSM8K از ۱۳٫۸ درصد به ۶۷٫۱ درصد |
تعمیم‌پذیری و پیروی از دستورات | ارتقای امتیاز در آزمون IFEval از ۲۱٫۰ درصد به ۶۲٫۳ درصد (بهبود تقریباً ۳ برابری) |
محدودیت‌ها و نکات قابل‌توجه
- پژوهشگران این دستاوردها را نتایج اولیه می‌دانند؛ این یافته‌ها هنوز داوری همتا نشده‌اند و نتایج آن‌ها به‌طور مستقل بازتولید نشده است، هرچند گزارش‌ها و لاگ‌های کامل آزمایش‌ها در دسترس عموم قرار دارد.
- بخش عمده جهش عملکرد مدل Qwen ناشی از حذف یک الگوی خطای شناخته‌شده (گیر افتادن در حلقه‌های تکرار) بوده و قابلیت مفهومی جدیدی اضافه نشده است؛ کمااینکه در مدل Gemma 3 270M که کمتر در این حلقه‌ها گرفتار می‌شود، تغییر وزن‌ها تنها حدود یک درصد امتیاز آزمون MATH-500 را جابه‌جا کرد.
- مدل GPT-6 Astra ساختاری بسته و تجاری دارد و همین موضوع بازتولید دقیق آزمایش‌ها را برای جامعه پژوهشی دشوار می‌کند.
- توسعه‌دهندگان در حال ساخت یک بنچمارک و بستر آزمایشی اختصاصی هستند تا توانایی مدل‌های بزرگ در برنامه‌نویسی فضای وزن‌ها را با دقت بیشتری بسنجند.
کاربردها و زمینه‌های استفاده
- تفسیرپذیری شبکه‌ها: امکان خواندن مستقیم وزن‌ها توسط مدل‌های زبانی برای شناسایی نورون‌ها یا بردارهایی که رفتارهای خاصی نظیر تملق‌گویی یا گیر افتادن در تکرار را ایجاد می‌کنند.
- ترمیم بدون نیاز به آموزش: جراحی دقیق الگوهای خطای شناخته‌شده در مدل‌های کوچک، بدون صرف هزینه برای فاین‌تیونینگ یا آموزش مجدد.
- تولید شبکه‌های عصبی کوچک: طراحی و سنتز مستقیم شبکه‌های کنترلی و تصمیم‌گیری کوچک بر اساس توصیف‌های متنی ساده.
راهنمای بازتولید و پیگیری آزمایش‌ها
- مطالعه یادداشت اصلی با نام جرقه‌های برنامه‌نویسی در فضای وزن‌ها در وبگاه اختصاصی پژوهشگران (rikiyat.github.io) و بررسی لاگ‌های عمومی پروژه.
- اجرای آزمایش‌های مشابه برای حذف اثر بردارهای نامطلوب روی مدل‌های کوچک و متن‌باز مانند Qwen3.5-0.8B و مقایسه نتایج بنچمارک‌های MATH-500، GSM8K و IFEval قبل و بعد از تغییرات.
- دنبال کردن بنچمارک اختصاصی WSP که در آینده نزدیک منتشر می‌شود، به‌همراه بررسی نتایج سایر تیم‌های مستقل پژوهشی.
نکته: هم‌زمان با انتشار این مقاله، یک میم‌کوین با نماد WSP در شبکه اجتماعی X ایجاد شده است که هیچ‌گونه ارتباطی با این پژوهش علمی ندارد.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
گارتنر: مدل‌های وزن‌باز ۹۰ درصد وظایف عامل‌های هوشمند را با یک‌بیستم هزینه انجام می‌دهند
گزارش جدید موسسه گارتنر نشان می‌دهد مدل‌های وزن‌باز قادرند بخش عمده وظایف روزمره در عامل‌های هوش مصنوعی را با کسری از هزینه مدل‌های تجاری پیشرو اجرا کنند. تحلیلگران پیش‌بینی می‌کنند تا سال ۲۰۳۰ بیش از ۹۰ درصد مراحل عملیاتی سازمان‌ها به این مدل‌ها واگذار شود و ارزش اصلی بازار به بسترهای مدیریت و هماهنگ‌سازی عامل‌ها منتقل گردد.
بنچمارک MER-Bench ضعف مدل‌های هوش مصنوعی را در ویرایش دقیق میم‌ها آشکار کرد
میم‌های اینترنتی به‌دلیل پیوند ناگسستنی میان متن و تصویر، به چالشی بزرگ برای ابزارهای ویرایش چندوجهی هوش مصنوعی تبدیل شده‌اند. بنچمارک جدید MER-Bench نشان می‌دهد که مدل‌های تصویری هنوز نمی‌توانند بار احساسی یک میم را بدون برهم زدن ساختار تصویر، چیدمان صحنه یا اصل شوخی تغییر دهند.
OpenAI پاداش کشف باگ را برای شناسایی آسیب‌پذیری‌های امنیتی به ۱۷۲ هزار دلار رساند
شرکت OpenAI با راه‌اندازی یک برنامه فشرده امنیتی و همکاری با استارتاپ Cathedral Systems، سقف پاداش کشف باگ را برای آسیب‌پذیری‌های حیاتی به ۱۷۲ هزار دلار افزایش داد. این برنامه با بهره‌گیری از مدل‌های پیشرفته هوش مصنوعی تلاش می‌کند رخنه‌های امنیتی و خطرات ناشی از سوءاستفاده عوامل خودکار را پیش از مهاجمان شناسایی کند.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.