فریمورک متنباز Halo از شرکت White Circle مدلهای ۲۰ میلیارد پارامتری را ۲.۸ برابر سریعتر آموزش میدهد
شرکت White Circle فریمورک آموزش توزیعشده خود با نام Halo را برای مدلهای زبانی بزرگ و چندوجهی بهصورت متنباز منتشر کرد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهمترین نکات و تحولات این گزارش برای مطالعه سریع
- فریمورک متنباز Halo آموزش توزیعشده و یادگیری تقویتی را بدون نیاز به تغییر کدهای استاندارد Hugging Face فراهم میکند.
- در آموزش مدل ۲۰ میلیارد پارامتری OpenAI، این فریمورک توان عملیاتی را تا ۲.۸ برابر نسبت به TRL استاندارد افزایش و مصرف حافظه را کاهش داده است.
- توسعهدهندگان میتوانند از چهار استراتژی موازیسازی ترکیبشده برای توزیع بهینه بار کاری روی پردازندههای گرافیکی استفاده کنند.
فریمورک Halo آموزش توزیعشده را به مدلهای استاندارد Hugging Face میآورد
شرکت White Circle فریمورک آموزشی Halo را که برای مدلهای منتشرشده خود استفاده میکند، بهصورت متنباز در اختیار توسعهدهندگان قرار داد. فریمورک Halo تیمهایی را هدف قرار میدهد که مدلهایشان از گردشکارهای استاندارد TRL در Hugging Face فراتر رفتهاند، اما هزینههای مهندسی برای انتقال معماریها به Megatron-LM یا NeMo برایشان توجیهپذیر نیست. این ابزار، آموزش توزیعشده و یادگیری تقویتی را به مدلها اضافه میکند، درحالیکه کلاسها و چکپوینتهای مدلهای Hugging Face کاملاً دستنخورده باقی میمانند.
فریمورک Halo یک مدل اصلاحنشده Hugging Face را دریافت کرده و یک چکپوینت تولید میکند که از طریق رابط استاندارد from_pretrained قابل بارگذاری است. طبق اعلام White Circle، تیمها میتوانند معماریهای موجود خود را حفظ کنند، از اسکریپتهای تبدیل بینیاز شوند و یک خانواده مدل جدید را تنها با حدود ۱۰۰ خط کد اضافه (wrapper) یکپارچه کنند.
مقایسه کنترلشده توان عملیاتی
شرکت White Circle گزارش میدهد که در هنگام آموزش مدل gpt-oss-20b از OpenAI، به توان عملیاتی ۲.۳ تا ۲.۸ برابری نسبت به نسخه استاندارد TRL دست یافته است و درعینحال اوج مصرف حافظه نیز کاهش یافته است. هر دو سیستم از FlashAttention-4، کرنلهای Liger با آنتروپی متقاطع خطی ترکیبشده و کرنلهای متخصص grouped-GEMM استفاده میکنند. بنابراین، این مقایسه تفاوتهای موجود در استراتژیهای آموزشدهنده، بهینهساز و شاردینگ پارامترها را بهخوبی ایزوله و مشخص میکند.
گزارش بنچمارک این پروژه نتایج زیر را ارائه میدهد:
پیکربندی (Configuration) | نتیجه گزارششده |
|---|---|
مدل gpt-oss-20b، طول ۴ هزار توکن، دسته (batch) ۴، EP1، بدون چکپوینت گرادیان | اوج توان عملیاتی ۲۴٬۴۵۶ توکن بر ثانیه برای هر پردازنده گرافیکی (GPU) |
مدل gpt-oss-20b، طول ۴ هزار توکن، دسته ۱، EP8 | ۲۶ گیگابایت برای هر GPU، در مقایسه با ۴۷.۶ گیگابایت در TRL با ZeRO-3 |
مدل gpt-oss-20b، کانتکست ۶۴ هزار | حدود ۲.۱ برابر توان عملیاتی TRL |
مدل gpt-oss-20b، کانتکست ۲۵۶ هزار | حدود ۱.۳ برابر توان عملیاتی TRL؛ موازیسازی کانتکست ردپای حافظه هر دستگاه را نصف میکند |
مدل Qwen3.5-4B، کانتکست ۱۶ هزار | فریمورک Halo در یک مدل متراکم بینایی-زبانی بدون نیاز به توزیع متخصصها پیشتاز است |
باید در نظر داشت که اینها بنچمارکهای گزارششده توسط خود پروژه هستند و نتایج آموزش توزیعشده بهشدت به توپولوژی پردازندههای گرافیکی، نسخههای نرمافزاری، طول توالی و شکل دستهها (batch) بستگی دارد. مخزن پروژه و گزارش منتشرشده، پیکربندیهای لازم برای بررسی یا بازتولید این مقایسهها را در اختیار کاربران قرار میدهند.
چهار روش برای تقسیم حجم کار
فریمورک Halo چهار استراتژی موازیسازی مختلف را با هم ترکیب میکند تا تیمها بتوانند وزنهای مدل، متخصصها و توالیهای طولانی را بر اساس حجم کاری خود توزیع کنند:
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
رکورد ۸۳۳ هزار دانلود ماهانه برای LEGAL-BERT؛ وقتی توسعهدهندهها قید مدلهای گرانقیمت را میزنند!
مدل زبانی تخصصی LEGAL-BERT با ثبت بیش از ۸۳۳ هزار دانلود در ماه روی پلتفرم هاگینگ فیس حسابی خبرساز شده است. این ابزار جمعوجور و تخصصی نشان میدهد که برای پردازش و تحلیل متون حقوقی، حتماً نیازی به مدلهای غولپیکر و پرهزینه ندارید و گزینههای بهینه همچنان در اوج هستند.
جاسوسی هوش مصنوعی در محل کار؛ کارمندان میگویند کارفرماها باید قانوناً مچگیریهایشان را لو بدهند!
نظرسنجیهای تازه نشان میدهد که بیشتر کارمندان حس میکنند مدیرانشان با ابزارهای هوش مصنوعی تمام حرکات آنها را زیر نظر گرفتهاند. حالا بیش از ۸۰ درصد شاغلان خواستار تصویب قانونی شدهاند که شرکتها را مجبور کند هرگونه مچگیری و نظارت هوش مصنوعی در محیط کار را رسماً اعلام کنند.
گزارش داغ مایکروسافت از نفوذ جهانی هوش مصنوعی؛ امارات در صدر و رتبه عجیب آمریکا!
مایکروسافت در تازهترین گزارش خود از ضریب نفوذ هوش مصنوعی در جهان پرده برداشت؛ آماری شگفتانگیز که نشان میدهد امارات و سنگاپور با فاصلهای خیرهکننده پیشتاز دنیا هستند و در مقابل، آمریکا در رتبه ۲۱ جا مانده است. همچنین الگوی استفاده از هوش مصنوعی میان کشورهای غربی و کشورهای در حال توسعه، از تفاوتی عمیق میان کاربردهای روزمره و آموزش پرده برمیدارد.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.