اجرای مدل غول‌پیکر ۳۵ میلیاردی روی گوشی؛ شاهکار تازه MiniCPM-V با مصرف تنها ۳ گیگابایت رم
تیم OpenBMB با معرفی مدل MiniCPM-V 4.7 نشان داد که اجرای یک هوش مصنوعی چندوجهی ۳۵ میلیارد پارامتری روی گوشی‌های موبایل دیگر یک رویا نیست. این مدل با بهره‌گیری از معماری MoE و مصرف تنها ۳ گیگابایت رم در آیفون، سرعت خیره‌کننده بالای ۱۳ توکن بر ثانیه را به نمایش گذاشته است.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- مدل متن‌باز MiniCPM-V 4.7 نخستین عضو MoE این خانواده است که با ۳۵ میلیارد پارامتر کل و فعال‌سازی هوشمند ۳ میلیارد پارامتر در هر لحظه، مستقیماً روی گوشی‌های هوشمند اجرا می‌شود.
- این مدل روی آیفون با اشغال تنها حدود ۳ گیگابایت رم، سرعت بسیار خوب بالای ۱۳ توکن بر ثانیه را به نمایش گذاشته و نیاز به سرور‌های سنگین را دور زده است.
- این هوش مصنوعی همه‌فن‌حریف از پس پردازش متن، تصاویر تکی و چندگانه و حتی ویدیو برمی‌آید و تحت لایسنس کاملاً آزاد Apache 2.0 منتشر شده است.
ورود مدل ۳۵ میلیارد پارامتری MiniCPM-V 4.7 به دنیای گوشی‌های هوشمند
تیم توسعه‌دهنده OpenBMB رسماً وزن‌های مدل MiniCPM-V 4.7 را منتشر کرد؛ یک مدل بینایی-زبانی تحت مجوز آپاچی ۲.۰ (Apache 2.0) که طوری طراحی شده تا روی سرورها، رایانه‌های شخصی و حتی گوشی‌های موبایل بدون دردسر اجرا شود. طبق گزارش OpenBMB، نسخه 35B-A3B این مدل روی آیفون ۱۷ پرو مکس (iPhone 17 Pro Max) با مصرف تنها حدود ۳ گیگابایت رم، می‌تواند بیش از ۱۳ توکن در ثانیه تولید کند. این دستاورد از آن جهت بسیار مهم و هیجان‌انگیز است که مدل‌های بزرگ مبتنی بر معماری ترکیبی متخصصان (MoE) معمولاً به پهنای باند و حافظه عظیم سرور‌های قدرتمند وابسته‌اند و اجرای روان آن‌ها روی موبایل شبیه به یک رویا بود.
۳۵ میلیارد پارامتر کل، ۳ میلیارد پارامتر فعال
چک‌پوینت 35B-A3B نخستین مدل مبتنی بر معماری ترکیبی متخصصان (Mixture of Experts یا MoE) در سری محبوب MiniCPM-V به شمار می‌رود. این مدل در مجموع ۳۵ میلیارد پارامتر دارد، اما برای پردازش هر توکن فقط حدود ۳ میلیارد پارامتر را فعال می‌کند. این ترفند فعال‌سازی هوشمند باعث می‌شود حجم محاسبات برای هر توکن به شدت کاهش یابد، هرچند که اندازه کل فایل و حجم وزن‌هایی که باید از حافظه ذخیره‌سازی خوانده شوند، همچنان به همان تعداد کل پارامترها وابسته است.
ذخیره‌سازی خام وزن‌های ۳۵ میلیارد پارامتری در فرمت BF16 به حدود ۷۰ گیگابایت فضا نیاز دارد (آن هم بدون احتساب متادیتا و بار پردازشی حین اجرا). کوانتیزه‌سازی ۴ بیتی استاندارد این عدد را به حدود ۱۷.۵ گیگابایت می‌رساند. بنابراین رکورد خیره‌کننده ۳ گیگابایت رم که OpenBMB گزارش کرده، نشان‌دهنده مصرف حافظه فعال (Runtime) در معماری خلاقانه‌ای است که وزن‌های کوانتیزه را روی حافظه داخلی گوشی نگه می‌دارد و متخصصان (Experts) موردنیاز را درست در لحظه فراخوانی به حافظه موقت لود می‌کند.
- ورودی‌ها: متن، تک‌تصویر، چند تصویر و ویدیو
- معماری: ۳۵ میلیارد پارامتر کلی به همراه حدود ۳ میلیارد پارامتر فعال به ازای هر توکن
- انکودر بینایی: SigLIP2 مجهز به فشرده‌سازی زودهنگام توکن‌های تصویری
- پایه زبانی (Language backbone): برگرفته از بخش‌هایی از خانواده مدل‌های Qwen3.5 و Qwen3.6
- مجوز (لایسنس): Apache 2.0 (کاملاً متن‌باز و رایگان)
ترفند صفحه‌بندی متخصصان برای جلوگیری از افت سرعت
مسیریابی در مدل‌های MoE فشار کاری پیچیده و چالش‌برانگیزی روی موبایل ایجاد می‌کند؛ چرا که هر توکن در لایه‌های مختلف ممکن است متخصصان متفاوتی را انتخاب کند، در حالی که رم گوشی گنجایش نگه داشتن تمام متخصصان را به صورت همزمان ندارد. از طرفی، بارگذاری وزن‌های انتخاب‌شده از حافظه فلش در هر لایه می‌تواند پردازنده را معطل نگه دارد و نگه داشتن یک بخش ثابت از متخصصان هم دست مدل را در مسیریابی آزادانه می‌بندد.
تیم OpenBMB برای از بین بردن این وقفه‌ها و معطلی پردازنده، سه تکنیک هوشمندانه را با هم ترکیب کرده است:
- زمان‌بندی پیش‌نگر متخصصان (Lookahead Expert Scheduling):
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
دردسر بانک‌های وال‌استریت با بدهی ۳۸ میلیارد دلاری هوش مصنوعی؛ ماه‌ها انتظار برای جذب خریدار!
تأمین مالی ۳۸ میلیارد دلاری برای ساخت دیتاسنترهای هوش مصنوعی اوراکل، بانک‌های بزرگی مثل جی‌پی مورگان را با چالشی پیش‌بینی‌نشده روبه‌رو کرده و فروش این بدهی‌ها ماه‌ها زمان برده است. این تأخیر طولانی نشان می‌دهد که تب‌وتاب وال‌استریت برای پذیرش بی‌چون‌وچرای ریسک‌های مالی هوش مصنوعی فروکش کرده و سرمایه‌گذاران با وسواس بسیار بیشتری دست به جیب می‌شوند. گلوگاه بعدی توسعه زیرساخت‌های هوش مصنوعی شاید نه کمبود تراشه، بلکه همین محاسبات سخت‌گیرانه مالی و هزینه‌های سرسام‌آور ساخت دیتاسنترها باشد.
ورود ایجنت‌های هوش مصنوعی به خودروهای ریویان؛ وقتی دستیارهای هوشمند همسفر شما می‌شوند
ریویان قصد دارد با آوردن ایجنت‌های پیشرفته هوش مصنوعی مثل کلود به خودروهای برقی خود، تجربه رانندگی را متحول کند. به گفته مدیرعامل این شرکت، خودروهای آینده ریویان دستیاری همه‌فن‌حریف خواهند داشت که حتی در کار‌های شخصی و روزمره به راننده کمک می‌کند. جزئیات بیش‌تر این فناوری جذاب قرار است در رویداد تخصصی هوش مصنوعی ریویان در ماه دسامبر رونمایی شود.
چاقویی که دسته خودش را برید! ابزار‌های رایگان vibe coding بلای جان اشتراک‌های گران‌قیمت مایکروسافت آفیس شدند
مایکروسافت میلیاردها دلار روی هوش مصنوعی شرط‌بندی کرده، اما ماجرا به شکل عجیبی علیه خودش برگشته است. حالا توسعه‌دهنده‌ها با کمک vibe coding و هوش مصنوعی، برنامه‌های رایگانی می‌سازند که عملکردی مشابه نرم‌افزارهای معروف آفیس دارند؛ اتفاقی که شاید به زودی کاربران را از پرداخت حق اشتراک‌های نجومی بی‌نیاز کند.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.