ابزار متن‌باز Neuron Explorer؛ امکانی تازه برای هدایت رفتار و تغییر خروجی مدل Qwen3.5-4B
ابزار متن‌باز Neuron Explorer با هدف تحلیل سازوکار درونی مدل‌های زبانی و کنترل رفتار آن‌ها منتشر شد. این ابزار به پژوهشگران امکان می‌دهد با ارسال سیگنال به نورون‌های مدل Qwen3.5-4B، تغییرات خروجی متنی را به‌صورت زنده بررسی کنند. این پروژه از یک رابط بصری محلی بهره می‌برد و فرایند شفاف‌سازی هوش مصنوعی را ساده‌تر می‌کند.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- ابزار متن‌باز Neuron Explorer امکان دستکاری هدفمند نورون‌ها در لایه‌های مدل Qwen3.5-4B و مشاهده فوری تغییرات در پاسخ‌های متنی را فراهم می‌کند.
- این سیستم به یک رابط وب محلی مجهز است و با ذخیره گزارش کامل آزمون‌ها، مقایسه هم‌زمان حالت‌های مختلف تولید متن را ممکن می‌سازد.
- شدت تغییر رفتار مدل با معیاری استاندارد تنظیم می‌شود تا امکان مقایسه دقیق عملکرد نورون‌ها در لایه‌های گوناگون وجود داشته باشد.
یک توسعه‌دهنده به نام Lyra C ابزار متن‌باز Neuron Explorer را منتشر کرده است؛ ابزاری در زمینه تفسیرپذیری هوش مصنوعی که با تزریق مستقیم جهت خروجی کانال‌های مجزای لایه پرسپترون چندلایه (MLP) به جریان پسماند مدل و ثبت متن حاصل، اثر هر نورون را ارزیابی می‌کند. نسخه اولیه این پروژه مدل Qwen3.5-4B را هدف قرار داده است و امکاناتی نظیر آزمایش‌های ذخیره‌شده، رابط بصری محلی، ابزارهای استنتاج زنده و قابلیت ادغام با ایجنت‌ها را ارائه می‌دهد.
مؤلفه | جزئیات |
|---|---|
مدل اصلی | Qwen3.5-4B |
روش محوری | هدایت مثبت و منفی تمام کانال‌های MLP در لایه انتخابی |
رابط کاربری | وب‌اپلیکیشن محلی روی نشانی localhost:8791 |
اجرای آزمایش‌های جدید | پردازنده گرافیکی CUDA و نسخه اختصاصی vLLM برای هدایت مدل |
استنتاج زنده | پردازنده‌های گرافیکی MPS، هسته‌های CUDA یا CPU |
نسخه‌های سازگار دیگر | مدل‌های Gemma 4 E4B و Gemma 3 4B |
گذار از مشاهده صرف به مداخله مستقیم در رفتار مدل
بخش‌های MLP در شبکه‌های ترنسفورمر دارای کانال‌های میانی متعددی هستند که معمولاً از آن‌ها با عنوان نورون یاد می‌شود. هر کانال از طریق یکی از ستون‌های ماتریس تصویر رو به پایین (Down-projection) عمل می‌کند و اطلاعات را دوباره به جریان پسماند (وضعیت مشترکی که لایه‌های بعدی از آن استفاده می‌کنند) انتقال می‌دهد. ابزار Neuron Explorer نسخه‌ای مقیاس‌بندی‌شده از این جهت بازنویسی را مستقیماً تزریق می‌کند و چگونگی دگرگونی در فرایند تولید متن را می‌سنجد.
شدت مداخله در این سامانه به‌صورت کسری از میانه هنجار پسماندِ خارج‌شده از لایه انتخابی بیان می‌شود؛ بنابراین، دُزی معادل +0.5 برداری با تقریباً نصف آن اندازه مرجع به محاسبات اضافه می‌کند. این نرمال‌سازی موجب می‌شود مقایسه دوزها میان کانال‌ها و لایه‌های مختلف یکدست‌تر باشد، هرچند اعمال مقادیر یکسان همچنان ممکن است پیامدهای رفتاری متفاوتی در خروجی به‌همراه داشته باشد.
در آزمون‌های پیش‌فرض، مجموعه‌ای منتخب از پرامپت‌ها در معرض دوزهای مثبت و منفی قرار می‌گیرند. این ارزیابی همچنین شامل یک حالت پایه بدون دستکاری و یک پرامپت با قالب آزاد در دوز مثبت قوی است. سامانه تمامی مراحل اجرای تولید متن را همراه با شناسه‌های توکن، لگاریتم احتمالات در هر گام و پیش‌بینی برترین توکن‌ها ذخیره می‌کند. افزون بر این، پرونده هر کانال شامل یک نام اختصاصی، نتایج لنز، اطلاعات ارتباطات درونی و یک محیط گفت‌وگوی سه‌ستونه است که خروجی مدل را در سه وضعیت هدایت منفی، حالت دست‌نخورده و هدایت مثبت در کنار یکدیگر مقایسه می‌کند.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
۸ مهارت شغلی حیاتی برای موفقیت در عصر هوش مصنوعی تا سال ۲۰۲۷
در دنیای کار تا سال ۲۰۲۷، تنها کار با ابزارهای هوش مصنوعی تضمین‌کننده پیشرفت شغلی نخواهد بود. با فراگیر شدن این فناوری، مزیت رقابتی از آن کسانی است که توانایی راستی‌آزمایی پاسخ‌ها، تفکر انتقادی و قضاوت مستقل انسانی دارند. بررسی روندهای بازار کار نشان می‌دهد که مهارت‌های غیرقابل خودکارسازی بیش از هر زمان دیگری ارزشمند می‌شوند.
تیم Nous Research ۱۸ افزونه رسمی عامل هوشمند Hermes Agent را در یک مخزن متن‌باز یکپارچه کرد
تیم Nous Research با انتشار مخزن رسمی hermes-official-plugins، مجموعه‌ای شامل ۱۸ افزونه اختصاصی برای عامل هوشمند Hermes Agent را تحت مجوز متن‌باز MIT یکپارچه کرد. توسعه‌دهندگان اکنون می‌توانند تنها با یک دستور ساده، قابلیت‌های متنوعی از کنترل خانه هوشمند گرفته تا ابزارهای چندرسانه‌ای و ارتباط مستقیم با Claude را به این عامل اضافه کنند.
گیت‌هاب مدل‌های زبانی را کنار گذاشت؛ کاهش ۹۸ درصدی هزینه شناسایی اطلاعات حساس با ModernBERT
گیت‌هاب سیستم اسکن کدهای حساس خود را با جایگزینی مدل‌های زبانی بزرگ با انکودر بهینه‌شده ModernBERT متحول کرد. این تغییر نه تنها دقت شناسایی کلیدهای امنیتی را افزایش داده و هشدارهای اشتباه را کاهش می‌دهد، بلکه هزینه‌های عملیاتی را بیش از ۹۸ درصد کم کرده است.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.