اجرای مدل ۷۶۳ میلیارد پارامتری DeepSeek روی کارت گرافیک ۱۲ گیگابایتی ممکن شد
گروه پژوهشی ISTA-DASLab با فشرده‌سازی پیشرفته مدل ۷۶۳ میلیارد پارامتری DeepSeek، امکان اجرای آن را روی کارت‌های گرافیک ۱۲ گیگابایتی فراهم کرد. این روش با کاهش میانگین وزن‌ها به ۱٫۷۵ بیت، نیاز به سخت‌افزارهای گران‌قیمت سرور را به‌میزان چشمگیری کاهش می‌دهد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- گروه پژوهشی ISTA-DASLab سه نسخه فشرده بر پایه فرمت GGUF از مدل ۷۶۳ میلیارد پارامتری DeepSeek-V4.1-Flash-1017 را در دسترس عموم قرار داد.
- کوچک‌ترین نسخه با رساندن میانگین وزن‌ها به ۱٫۷۵ بیت، اجرای مدل غول‌پیکر را روی کارت گرافیک ۱۲ گیگابایتی و رم سیستم ممکن می‌کند.
- این فرایند فشرده‌سازی با مدیریت هوشمندانه بودجه بیت‌ها، دقت لایه‌های حساس مدل را حفظ کرده و مانع افت کیفیت خروجی می‌شود.
گروه تحقیقاتی ISTA-DASLab که پیش‌تر ابزار محبوب GPTQ را توسعه داده بود، سه نسخه کوانتایز شده در قالب GGUF از مدل DeepSeek-V4.1-Flash-1017 منتشر کرده است. کوچک‌ترین نسخه به‌طور میانگین تنها ۱٫۷۵ بیت به ازای هر وزن حافظه مصرف می‌کند؛ دستاوردی که فضای ذخیره‌سازی موردنیاز را آن‌قدر کاهش می‌دهد تا استنتاج ترکیبی مدل با یک کارت گرافیک ۱۲ گیگابایتی و مقدار مناسبی از رم سیستم امکان‌پذیر شود.
مدل DeepSeek-V4.1-Flash-1017 از معماری ۱۹۷ میلیارد پارامتری بهره می‌برد. سازوکار مسیریابی تنک (Sparse Routing) برای هر توکن تنها بخش کوچکی از کارشناسان شبکه (Experts) را فعال می‌کند و همین موضوع بار محاسباتی را به‌شدت کاهش می‌دهد. با این حال، وزن‌های تمامی کارشناسان همچنان نیازمند فضای ذخیره‌سازی هستند؛ از این رو، استقرار و اجرای مدل به حافظه رم، ظرفیت دیسک، پهنای باند حافظه و موتور استنتاج Strata وابسته است.
جزئیات انتشار | مقدار |
|---|---|
معماری | مدل ترکیبی از کارشناسان (MoE) با ۷۶۳ میلیارد پارامتر |
تعداد کارشناسان (Experts) | ۳۸۴ |
فرمت‌های کوانتایز | IQ1_M و IQ2_XXS و IQ2_XS |
قالب فایل | GGUF با انواع کوانتایز اختصاصی برای هر تنسور |
کارت گرافیک موردنیاز | ۱۲ گیگابایت VRAM به‌همراه موتور Strata و حافظه رم کافی سیستم |
نقش دو بهینه‌ساز؛ یکی برای تنظیم وزن‌ها و دیگری برای مدیریت بیت‌ها
خط لوله فشرده‌سازی در این پژوهش، روش کوانتایز گامبل-سافت‌مکس (GSQ) را با بهینه‌سازی مقید ریمانی (RCO) ترکیب می‌کند. روش GSQ هر تنسور را با دقت تعیین‌شده کوانتایز می‌کند، در حالی که الگوریتم RCO وظیفه دارد نحوه توزیع بودجه بیت موجود را در سراسر بخش‌های مدل مدیریت کند.
روش GSQ با بازه کوانتایز اختصاص‌یافته به هر وزن به‌عنوان یک متغیر بهینه‌سازی برخورد می‌کند. تکنیک کاهش گامبل-سافت‌مکس باعث می‌شود این انتخاب گسسته در طول فرایند کالیبراسیون مشتق‌پذیر باشد؛ رویکردی که به سیستم اجازه می‌دهد به‌جای گرد کردن ساده اعداد به نزدیک‌ترین مقدار، تخصیص شبکه‌ای و مقیاس گروه‌ها را بهینه کند. وزن‌های نهایی تولیدشده با فرمت‌های اسکالر پشتیبانی‌شده در محیط‌های اجرایی GGUF کاملاً سازگار باقی می‌مانند.
الگوریتم RCO فرمت‌های گوناگون را برای هر تنسور بررسی کرده و ترکیبی را برمی‌گزیند که ضمن دستیابی به حجم هدف، افت کیفی تخمینی مدل را به حداقل برساند. این شیوه تخصیص بودجه در مدل‌های مبتنی بر کارشناسان (MoE) اهمیت چشمگیری دارد؛ زیرا تنسورهای توجه، لایه‌های مشترک، امبدینگ‌ها و کارشناسان مسیریابی‌شده، حساسیت متفاوتی در برابر فشرده‌سازی شدید نشان می‌دهند. در مقابل، تبدیل یکنواخت کل مدل به ۲ بیتی، بدون توجه به میزان حساسیت لایه‌ها، بودجه یکسانی را در تمام بخش‌ها تلف می‌کند.
مطالب مرتبط و پیشنهادی
سرمایهگذاری ۱۳۴ میلیون دلاری بریتانیا برای راهاندازی آزمایشگاه امنیت زیستی هوش مصنوعی
دولت بریتانیا با اختصاص بودجهای ۱۳۴ میلیون دلاری، آزمایشگاه ملی امنیت زیستی هوش مصنوعی را راهاندازی کرد. این مرکز مستقل با همکاری شرکت‌های پیشرویی مانند OpenAI، Anthropic و گوگل، بر شناسایی زودهنگام تهدیدهای بیولوژیکی و تسریع ساخت واکسن و درمانهای پزشکی تمرکز خواهد داشت.
بسته ویرایش تصویر Qwen برای ComfyUI، از مرز ۱٫۶۸ میلیون دانلود گذشت
مجموعه بازطراحی‌شده مدل‌های ویرایش تصویر Qwen برای پلتفرم محبوب ComfyUI، در Hugging Face از مرز ۱٫۶۸ میلیون بار دانلود عبور کرد. این بسته یکپارچه، فرایند بارگذاری مدل‌های پیشرفته علیبابا را برای کاربران و توسعهدهندگان بینهایت ساده و سریع می‌کند.
مدل صوتی جدید شرکت Block با شبیه‌سازی دقیق احساسات و مکث‌ها، به طرز شگفت‌آوری شبیه انسان است
شرکت Block با معرفی مدل صوتی جدید Dessa، مرزهای واقع‌گرایی در هوش مصنوعی را جابه‌جا کرده است. این مدل قادر است هم‌زمان بشنود و صحبت کند و احساساتی مثل خنده و مکث را درست مانند یک انسان بازآفرینی نماید. علاوه بر این، فناوری مذکور بدون نیاز به پردازش ابری، روی رایانه‌های شخصی قدرتمند اجرا می‌شود.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.