رونمایی الف آلفا از مدل استدلال متن‌باز Kolibri-1؛ پردازش فوق‌سریع با حافظه ۱ میلیون توکنی!

عرضه مدل استدلال Kolibri-1 توسط الف آلفا با پردازش بهینه و پنجره ۱ میلیون توکنی

استارتاپ آلمانی الف آلفا (Aleph Alpha) مستقر در هایدلبرگ، از صفحه مدل Kolibri-1 در هاگینگ‌فیس رونمایی کرد؛ یک مدل استدلال با وزن‌های باز بر پایه معماری کارشناسان ترکیبی (MoE) که برای زبان‌های آلمانی و انگلیسی بهینه‌سازی شده است. این مدل در مجموع ۷۸.۱ میلیارد پارامتر دارد، اما به لطف ساختار هوشمندانه‌اش برای پردازش هر توکن فقط حدود ۳.۴۶ میلیارد پارامتر را فعال می‌کند. همچنین این مدل از استدلال قابل‌تنظیم و فراخوانی ابزار‌ها (Tool Calling) پشتیبانی کرده و با لایسنس کاملاً آزاد Apache 2.0 برای میزبانی و استقرار روی سرور‌های اختصاصی عرضه شده است.

مدل Kolibri-1 دقیقاً برای تیم‌ها و سازمان‌هایی طراحی شده که به استدلال قوی به زبان آلمانی، بازیابی اطلاعات در متون فوق‌العاده طولانی (Long-context) و کنترل کامل روی محل ذخیره پرامپت‌ها و وزن‌های مدل نیاز دارند. معماری خلوت (Sparse) این مدل بار پردازشی هر توکن را به شکل چشمگیری کاهش می‌دهد؛ هرچند که برای نگهداری کل مجموعه وزن‌های آن، همچنان به حدود ۷۸ گیگابایت فضای ذخیره‌سازی نیاز خواهید داشت.

پردازش خلوت، حافظه فشرده

نسبت ۲۲.۶ به ۱ میان پارامترهای کل و پارامترهای فعال، علت رفتار سخت‌افزاری خاص این مدل را به خوبی توجیه می‌کند. هر توکن فقط کسری از وزن‌های کارشناسان را به کار می‌گیرد که این موضوع فشار محاسباتی را حسابی مهار می‌کند؛ با این حال، سرور ارائه‌دهنده در زمان استنتاج همچنان باید به کل شبکه دسترسی کامل داشته باشد.

در هر بلوک ترنسفورمر یک لایه پیش‌خوران (Feed-forward) بر پایه کارشناسان ترکیبی تعبیه شده است. سازوکار توجه (Attention) نیز از الگوی ترکیبی ۴ به ۱ بین لایه‌های پنجره متحرک (Sliding-window) و لایه‌های توجه کامل پیروی می‌کند؛ به این شکل که بیش‌تر لایه‌ها فقط ۵۱۲ توکن قبلی را بررسی می‌کنند، در حالی که لایه‌های سراسری (Global) دوره‌ای می‌توانند از کل پنجره زمینه بهره ببرند. این معماری هوشمندانه حجم عملیات توجه را در بخش اعظم مدل محدود نگه می‌دارد، اما همزمان مسیرهای انتقال اطلاعات در فواصل طولانی را دست‌نخورده حفظ می‌کند.

پردازش متون فوق‌طولانی بدون نیاز به مقیاس‌پذیری پوزیشن‌ها

تیم الف آلفا آموزش این مدل را ابتدا روی پنجره ۱۶,۳۸۴ توکنی آغاز کرد، سپس فرآیند یادگیری را در ۶۵,۵۳۶ توکن ادامه داد و نهایتاً زمینه بومی مدل را به ۲۶۲,۱۴۴ توکن رساند. این شرکت همچنین گزارش داده که تست‌های کیفیت و سرویس‌دهی مدل را در پنجره شگفت‌انگیز ۱,۰۴۸,۵۷۶ توکنی (بیش از یک میلیون توکن) با موفقیت پشت سر گذاشته است.

بر اساس مستندات رسمی مدل، کدگذاری موقعیت (Positional Encoding) صرفاً در لایه‌های توجه پنجره متحرک حضور دارد. این ساختار فنی هوشمند به الف آلفا اجازه داده تا بدون نیاز به روش‌های دستکاری یا مقیاس‌پذیری مانند YaRN یا RoPE، پنجره زمینه را به شکل خارق‌العاده‌ای گسترش دهد. البته در عمل، محدودیت‌های نهایی درخواست‌ها به پیکربندی فریم‌ورک vLLM، اندازه بچ (Batch Size) و حافظه رم موجود برای کَش کلید-مقدار (KV Cache) وابسته خواهد بود.

وزن‌های مدل در قالب بلوک‌های ۱۲۸ در ۱۲۸ از فرمت بهینه FP8 بهره می‌برند و اکتیویشن‌ها نیز به شکل پویا کوانتیزه می‌شوند. با این حال بخش‌های حساسی چون امبدینگ‌ها، لایه‌های نرمال‌سازی، هد نهایی مدل زبانی و روتر کارشناسان همچنان در فرمت bfloat16 حفظ شده‌اند تا دقت مدل افت نکند. در ارزیابی‌های فنی الف آلفا، این مدل همراه با کش کلید-مقدار تحت فرمت FP8 مورد سنجش قرار گرفته است.