استقبال میلیونی از هوش مصنوعی کم‌حجم ال‌جی؛ اجرای مدل EXAONE 3.5 فقط با ۵ گیگابایت رم!

نسخه ۴ بیتی EXAONE 3.5 ال‌جی در آستانه یک میلیون دانلود ماهانه در هاگینگ فیس

نسخه سبک و فشرده‌شده مدل EXAONE 3.5 7.8B Instruct که توسط بخش تحقیقات هوش مصنوعی ال‌جی توسعه داده شده، با سرعتی باورنکردنی در صفحه اختصاصی نسخه AWQ خود در هاگینگ فیس به رکورد یک میلیون دانلود در ماه نزدیک می‌شود. البته پلتفرم هاگینگ فیس هر درخواست دانلود معتبر را جداگانه ثبت می‌کند، بنابراین این آمار به معنای یک میلیون کاربر منحصربه‌فرد نیست؛ با این حال، نشان‌دهنده علاقه و اشتیاق ادامه‌دار توسعه‌دهندگان به یک مدل جمع‌وجور دو زبانه (کره‌ای و انگلیسی) است که مخصوص اجرای محلی و بدون دردسر روی سیستم‌ها طراحی شده است.

خانواده بزرگ مدل‌های EXAONE 3.5 شامل نسخه‌های متنوع ۲.۴ میلیارد، ۷.۸ میلیارد و ۳۲ میلیارد پارامتری تنظیم‌شده با دستورالعمل (Instruction-tuned) است. این نسخه ۷.۸ میلیاردی از تکنیک کوانتیزاسیون هوشمند وزن‌ها (AWQ) استفاده می‌کند تا مصرف حافظه گرافیکی کارت‌های گرافیک را تا حد ممکن پایین بیاورد، آن هم بدون این‌که به پنجره زمینه گسترده ۳۲,۷۶۸ توکنی آن آسیبی برسد.

یک مدل سبک با حافظه و پنجره زمینه بزرگ

این نسخه فشرده بر پایه معماری ترنسفورمر فقط دیکودر (Decoder-only) ساخته شده و مشخصات فنی جذابی دارد:

• ۶.۹۸ میلیارد پارامتر بدون احتساب لایه امبدینگ در ۳۲ لایه پردازشی
• مکانیزم توجه چندگانه گروهی (GQA) با ۳۲ سر کوئری و ۸ سر کلید/مقدار
• بانک لغات ۱۰۲,۴۰۰ توکنی در سطح بایت با الگوریتم BPE که دقیقاً برای زبان‌های کره‌ای و انگلیسی بهینه‌سازی شده است
• حداکثر طول دنباله ۳۲,۷۶۸ توکن، شامل توکن‌های ورودی پرامپت و خروجی تولیدشده
• کوانتیزاسیون گروهی W4A16 در دسته‌های ۱۲۸ تایی از وزن‌ها

در روش فشرده‌سازی W4A16، وزن‌های شبکه عصبی با دقت ۴ بیتی ذخیره می‌شوند، اما بخش اکتیویشن‌ها همچنان با دقت ۱۶ بیتی دست‌نخورده باقی می‌مانند تا کیفیت افت نکند. در این ساختار، هر دسته ۱۲۸ تایی از وزن‌ها متادیتای کوانتیزاسیون مشترکی دارند. خروجی نهایی این فایل‌ها فقط حدود ۵ گیگابایت حجم دارد؛ هرچند نباید فراموش کرد که حافظه واقعی اشغال‌شده در کارت گرافیک شامل کش کلید/مقدار (KV Cache)، بافرهای موقت و سربار فریم‌ورک‌های پردازشی هم می‌شود.

نکته مهم اینجاست که کوانتیزاسیون تغییری در معماری و طول زمینه مدل ایجاد نمی‌کند. پردازش یک توالی کامل ۳۲ هزار توکنی با بچ سایز یک می‌تواند به تنهایی حدود ۴ گیگابایت دیگر برای کش ۱۶ بیتی کلید/مقدار فضا اشغال کند؛ بنابراین بالا آمدن وزن‌های مدل با ۵ گیگابایت به این معنا نیست که اجرای کامل ورودی‌های ۳۲ هزار توکنی هم دقیقاً با همین مقدار حافظه ممکن خواهد بود.

مدل EXAONE 3.5 شاکله اصلی معماری نسل قبلی یعنی EXAONE 3.0 7.8B را حفظ کرده است. بر اساس گزارش فنی آزمایشگاه ال‌جی، استفاده از فرایند فاین‌تیونینگ روی متن‌های طولانی باعث شده حداکثر طول ورودی از ۴,۰۹۶ توکن به ۳۲,۷۶۸ توکن افزایش یابد. علاوه بر این، مدل از ضریب تتا (Theta) یک میلیونی در سیستم موقعیت‌یابی روتاری (RoPE) بهره می‌برد تا بدون افت دقت، از این پنجره زمینه بزرگ پشتیبانی کند.