مدل‌های چندوجهی LFM3 از استارتاپ Liquid AI با ۱ گیگابایت حافظه روی دستگاه‌های محلی اجرا می‌شوند

استارتاپ Liquid AI به‌تازگی خانواده مدل‌های LFM3 را منتشر کرده است؛ مجموعه‌ای از مدل‌های وزن‌باز برای پردازش متن، بینایی ماشین، صوت، استفاده از ابزارها و وظایف تصمیم‌گیری ساختاریافته. این مجموعه شامل ۶ نسخه در کلاس ۲ میلیارد پارامتر است که همگی بر پایه مدل مبنای LFM3-1.7B-Base توسعه یافته‌اند و برای اجرا روی دستگاه‌های محلی، زیرساخت‌های خصوصی و سرورهای ابری طراحی شده‌اند.

تیم Liquid AI اعلام کرده است که هر یک از این مدل‌ها را می‌توان روی یک پردازنده گرافیکی (GPU) منفرد بازتنظیم کرد. البته میزان دقیق حافظه مورد نیاز به نوع مدل، طول پنجره زمینه، اندازه دسته داده‌ها، دقت محاسباتی و شیوه آموزش بستگی خواهد داشت.

یک ستون فقرات واحد با سه عملگر محاسباتی

ستون فقرات ۲۴ لایه‌ای LFM3 ترکیبی از ۱۳ لایه کانولوشن کوتاه دریچه‌دار، ۵ لایه توجه با پنجره متحرک و ۶ لایه توجه سراسری است. پنجره توجه محلی در این مدل ۲۵۶ توکن را پوشش می‌دهد و ابعاد هسته کانولوشن نیز از ۳ المان در نسخه قبلی به ۷ المان در مدل جدید ارتقا یافته است.

مکانیزم توجه سراسری می‌تواند هر توکن را به تمام توکن‌های دیگر متصل کند؛ قابلیتی که به درک ارتباطات دوردست در متن کمک فراوانی می‌کند، اما با افزایش طول دنباله، حافظه و توان پردازشی بسیار بیشتری می‌طلبد. در نقطه مقابل، مکانیزم توجه با پنجره متحرک هر توکن را فقط به بافت متنی اطرافش محدود می‌کند و کانولوشن‌های کوتاه نیز الگوهای محلی را با بهره‌وری بالا شناسایی می‌کنند. مدل LFM3 توجه سراسری را منحصراً برای لایه‌هایی کنار گذاشته است که در آن‌ها بافت گسترده بیشترین ارزش و بازدهی را دارد.

استارتاپ Liquid این ترکیب بهینه را از طریق جست‌وجوی خودکار سخت‌افزار در حلقه انتخاب کرده است. معماری‌های کاندید از نظر کیفیت مدل، تاخیر پاسخ‌دهی و میزان مصرف حافظه روی ۱۴ رده پردازنده مختلف سنجیده شدند. این آزمون‌ها سخت‌افزارهایی چون گوشی‌های هوشمند پرچمدار، لپ‌تاپ‌های مجهز به تراشه‌های Apple M4 Max و AMD Ryzen AI، رایانه کوچک Raspberry Pi 5، پردازنده‌های مرکزی ابری با معماری Arm و x86، پردازنده‌های گرافیکی و واحد پردازش عصبی Qualcomm Hexagon NPU را پوشش داده‌اند.

طبق گزارش استارتاپ Liquid، مدل LFM3-1.7B در ارزیابی‌ها عملکردی فراتر از مدل قبلی به نمایش می‌گذارد؛ آن هم در حالی که حدود ۳۵ درصد پارامتر کمتری مصرف می‌کند. در صورت استفاده از کوانتیزاسیون ۴ بیتی، وزن‌های این مدل تنها حدود ۱ گیگابایت فضا اشغال می‌کنند. البته حافظه کلی مورد نیاز در زمان اجرا اندکی بیشتر خواهد بود، زیرا فرایند استنتاج نیازمند حافظه موقت کلید و مقدار، مقادیر فعال‌سازی، بافرها و سربار نرم‌افزاری برنامه است.

مدل پایه از پنجره زمینه‌ای تا سقف ۲۵۶ هزار توکن پشتیبانی می‌کند که برای پردازش اسناد حجیم و جلسات کاری طولانی ایجنت‌ها طراحی شده است. البته ظرفیت اسمی پنجره زمینه لزوماً دقت بالا در تمام این بازه را تضمین نمی‌کند؛ بنابراین کیفیت پاسخ‌دهی در بافت‌های متنی طولانی و میزان دقیق مصرف حافظه باید متناسب با محیط اجرایی نهایی ارزیابی شود.