شاهکار پروژه Maya: اجرای مدل غول‌پیکر ۳۲۱ میلیاردی GLM فقط با یک کارت گرافیک!
پروژه متن‌باز Maya با یک ترفند مهندسی هوشمندانه، اجرای محلی مدل ۳۲۱ میلیارد پارامتری GLM-5.3-Flash را روی سیستم‌های لینوکسی مجهز به یک کارت گرافیک انویدیا ممکن کرده است. این ابزار با توزیع هوشمند وزن‌های مدل میان حافظه گرافیک، رم سیستم و حافظه SSD، مدلی را که پیش‌تر به صدها گیگابایت حافظه شتاب‌دهنده نیاز داشت، در دسترس سیستم‌های معمولی قرار می‌دهد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- پروژه متن‌باز جدیدی به نام Maya منتشر شده که به شما اجازه می‌دهد مدل غول‌پیکر ۳۲۱ میلیارد پارامتری GLM-5.3-Flash را روی یک سیستم لینوکسی تنها با یک کارت گرافیک انویدیا اجرا کنید.
- راز موفقیت این ابزار در معماری MoE و توزیع سه‌لایه‌ای وزن‌هاست؛ بخش‌های پرکاربرد در حافظه کارت گرافیک (VRAM)، بخش‌های بعدی در رم سیستم (RAM) و سایر لایه‌ها روی اس‌اس‌دی فوق‌سریع (NVMe) قرار می‌گیرند.
- پروژه Maya همه‌چیز را با یک اسکریپت ساده راه‌اندازی می‌کند و علاوه بر داشبورد مرورگر، رابط‌های برنامه‌نویسی کاملاً سازگار با OpenAI و Anthropic هم در اختیارتان می‌گذارد.
اجرای مدل GLM-5.3-Flash روی سخت‌افزارهای ورک‌استیشن با پروژه Maya
پروژه Maya یک پشته استنتاج متن‌باز با مجوز MIT است که اجرای مدل ترکیبی از متخصصان (MoE) با نام GLM-5.3-Flash و ۳۲۱ میلیارد پارامتر را روی سیستم‌های لینوکسی ممکن می‌کند. حداقل سخت‌افزار موردنیاز برای این پروژه، تنها یک کارت گرافیک سازگار انویدیا (NVIDIA)، ۳۲ گیگابایت رم سیستم و یک حافظه اس‌اس‌دی پرسرعت NVMe است؛ به این ترتیب، مدلی که پیش از این برای اجرا به صدها گیگابایت حافظه فوق‌سریع شتاب‌دهنده‌های گران‌قیمت نیاز داشت، حالا به‌راحتی در دسترس سیستم‌های توسعه محلی قرار گرفته است.
این پروژه یک موتور استنتاج اختصاصی، رابط‌های برنامه‌نویسی سازگار با OpenAI و Anthropic، داشبورد تحت وب در مرورگر و ابزار‌های کوانتایزیشن را همه و همه در قالب یک اسکریپت نصب خودکار دور هم جمع کرده است. مایا در واقع بر پایه فریم‌ورک Strata توسعه یافته و موتور استنتاج آن را به‌طور اختصاصی برای GLM-5.3-Flash بازنویسی کرده، در حالی که سرور و داشبورد کاربری Strata را حفظ کرده است.
بخش | مشخصات فنی در پروژه |
|---|---|
مدل | مدل GLM-5.3-Flash با ۳۲۱ میلیارد پارامتر کل و حدود ۱۸ میلیارد پارامتر فعال به ازای هر توکن |
حداکثر طول پنجره زمینه (Context) | تا ۱ میلیون توکن (بسته به محدودیت‌های حافظه تنظیم‌شده) |
مدل کوانتایزشده | نسخه ۹۶.۵ گیگابایتی Maya-S در فرمت GGUF |
حداقل کارت گرافیک (GPU) | انویدیا با قابلیت محاسباتی نسخه ۷.۰ یا جدید‌تر |
پلتفرم میزبان | سیستم‌عامل لینوکس با حداقل ۳۲ گیگابایت رم و حافظه پرسرعت NVMe |
پردازش هم‌زمان (Concurrency) | یک درخواست فعال در هر لحظه |
توزیع هوشمند وزن‌های مدل در سه لایه حافظه
مدل GLM-5.3-Flash از معماری «ترکیبی از متخصصان» (Mixture-of-Experts یا MoE) بهره می‌برد؛ در این معماری، شبکه به گروه‌های تخصصی پارامترها به نام «متخصص» (Expert) تقسیم می‌شود. هنگام پردازش، یک مسیریاب هوشمند برای هر توکن تنها زیرمجموعه‌ای از این متخصص‌ها را انتخاب می‌کند؛ بنابراین مدل در هر لحظه فقط حدود ۱۸ میلیارد از ۳۲۱ میلیارد پارامتر کل خود را فعال می‌سازد. با این حال، تمام وزن‌های مدل همچنان باید در حافظه ذخیره شوند و پروژه Maya این وزن‌ها را به شکلی هوشمندانه میان حافظه کارت گرافیک (VRAM)، رم سیستم (RAM) و حافظه اس‌اس‌دی (SSD) توزیع می‌کند.
- لایه حافظه گرافیک (GPU): متخصص‌هایی را نگه می‌دارد که بیش‌ترین میزان استفاده را دارند و تمام ظرفیت VRAM موجود را با آن‌ها پر می‌کند.
- لایه حافظه اصلی (RAM): متخصص‌هایی با اولویت بعدی را در خود جای می‌دهد و به رشته‌های پردازنده (CPU) اجازه می‌دهد برخی محاسبات مربوط به آن‌ها را مستقیماً درجا انجام دهند.
- لایه حافظه اس‌اس‌دی (SSD): بقیه متخصص‌ها را روی حافظه NVMe ذخیره می‌کند و هنگام نیاز، آن‌ها را از طریق مسیرهای نگاشت حافظه (memory-mapped) و ورودی/خروجی مستقیم (Direct-I/O) فراخوانی می‌نماید.
پروژه مایا بررسی می‌کند که هر تسک یا بار کاری از کدام متخصص‌ها بیش‌تر استفاده می‌کند و بر اساس همین تاریخچه، کش کارت گرافیک را گرم (Warm) نگه می‌دارد. به این ترتیب، تسک‌های تکراری می‌توانند متخصص‌های پرکاربرد خود را همیشه در حافظه‌های فوق‌سریع نگه دارند، در حالی که وزن‌های کم‌کاربردتر بدون اشغال فضای ارزشمند رم و گرافیک، روی حافظه SSD باقی می‌مانند.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
سیستم رانندگی خودران اکسپنگ سال ۲۰۲۷ به اروپا می‌آید؛ هوش مصنوعی چینی در جاده‌های قاره سبز
شرکت چینی اکسپنگ قصد دارد سیستم کمک‌راننده پیشرفته و خودران خود به نام NGP را در سال ۲۰۲۷ روانه خیابان‌های اروپا کند و هم‌اکنون مشغول رایزنی با رگولاتورهای محلی است. مهندسان این خودروساز با بهره‌گیری از هوش مصنوعی توانسته‌اند این سیستم پیچیده را تنها ظرف دو هفته برای رانندگی در کشور‌های جدید اروپایی بومی‌سازی کنند. اکسپنگ برنامه دارد پکیج کامل این فناوری را برای ناوبری خودکار در جاده‌ها و شهرهای قاره سبز در دسترس رانندگان قرار دهد.
دستیار هوش مصنوعی LingGuang یک ایجنت شخصی می‌شود: ماجراجویی جدید گروه آنت با حافظه بلندمدت و پروتکل MCP
گروه آنت در حال آزمایش نسخه ارتقایافته‌ای از دستیار هوش مصنوعی LingGuang است که آن را از یک چت‌بات معمولی به یک ایجنت شخصی خودکار تبدیل می‌کند. این به‌روزرسانی بزرگ با افزودن حافظه بلندمدت و توانایی انجام پیش‌دستانه وظایف، به ایجنت امکان می‌دهد تا مدیریت کار‌های روزمره کاربران و تعامل با ابزار‌های مختلف را به دست بگیرد. انتظار می‌رود این نسخه جدید با پشتیبانی از پروتکل MCP و اسکیل‌های متنوع، در ماه اکتبر به صورت عمومی منتشر شود.
جذب سرمایه نجومی ۲.۳ میلیارد یوانی توسط Infinigence AI؛ رکوردشکنی چین در زیرساخت‌های هوش مصنوعی
استارتاپ چینی Infinigence AI در دور سرمایه‌گذاری سری C موفق به جذب ۲.۳ میلیارد یوان شد تا رکورد تازه‌ای در توسعه زیرساخت‌های بومی هوش مصنوعی ثبت کند. مجموع منابع مالی این استارتاپ برآمده از دانشگاه چینهوا با این تامین مالی به ۴.۳ میلیارد یوان رسیده است. این شرکت روی یکپارچه‌سازی نرم‌افزاری پردازش تراشه‌های مختلف برای آموزش و اجرای مدل‌های هوش مصنوعی تمرکز دارد.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.