تبدیل آیفون به کمک‌پردازنده هوش مصنوعی مک با پروژه بک‌برنر؛ تا ۴۴ درصد سریع‌تر!

تبدیل آیفون به شتاب‌دهنده مدل‌های زبانی با پروژه بک‌برنر

بک‌برنر (Backburner) یک پروژه متن‌باز جذاب است که فرآیند استنتاج محلی مدل‌های زبانی بزرگ را میان کامپیوتر مک (با تراشه‌های اپل سیلیکون) و گوشی آیفون تقسیم می‌کند. ماجرا به این سادگی است: دو دستگاه را با یک کابل USB-C سریع (۱۰ گیگابیت بر ثانیه) به هم وصل می‌کنید، برنامه همراه iOS را روی گوشی باز می‌کنید و حالا پردازنده گرافیکی (GPU) و موتور پردازش عصبی (Neural Engine) آیفون هم برای اجرای یک مدل ۲۷ میلیارد پارامتری در بستر llama.cpp دست‌به‌کار می‌شوند.

بر اساس بنچمارک‌های ثبت‌شده در این پروژه، اضافه شدن آیفون به زنجیره پردازش توانسته سرعت پردازش پرامپت‌ها در متن‌های طولانی را تا ۴۴ درصد بیش‌تر کند. علاوه بر این، یک مک با ۲۴ گیگابایت حافظه رم که معمولاً با کَش ۸ بیتی Key-Value نهایتاً تا مرز ۶۴ هزار توکن حافظه کم می‌آورد، با کمک حافظه آیفون موفق شده این سقف را بشکند و در تست‌ها به ۱۲۸ هزار توکن برسد.

یک کابل و دو مسیر پردازشی هم‌زمان

در مرحله پردازش پرامپت اولیه یا همان Prefill، پروژه بک‌برنر لایه‌های مدل را تقسیم می‌کند. در هر مایکروبَچ ۲۵۶ توکنی، مک لایه‌های ۱ تا ۴۰ را پردازش می‌کند و سپس مقادیر میانی (اکتیویشن‌های باقی‌مانده که بین لایه‌ها جابه‌جا می‌شوند) را به گوشی می‌فرستد. در حالی که مک پردازش دسته بعدی توکن‌ها را شروع می‌کند، آیفون هم با پردازنده گرافیکی خود لایه‌های ۴۱ تا ۶۴ را پیش می‌برد.

این خط لوله پردازشی (پایپ‌لاین) باعث می‌شود هر دو پردازنده همیشه مشغول به کار بمانند و حجم دیتایی که از طریق کابل منتقل می‌شود هم فقط به مقادیر میانی محدود باشد. وزن‌های مدل هم بین دو دستگاه تقسیم شده می‌مانند؛ به این شکل که حدود ۵.۱ گیگابایت از وزن‌های لایه‌های بالایی مستقیماً روی حافظه آیفون ذخیره می‌شود.

وقتی طول متن و زمینه مکالمه (Context) از ظرفیت حافظه مک فراتر برود، بک‌برنر صفحات قدیمی‌تر کش Key-Value را به آیفون منتقل می‌کند. حافظه کش KV داده‌های توجه (Attention) توکن‌های قبلی را نگه می‌دارد تا مدل مجبور نباشد با هر کلمه جدیدی که تولید می‌کند، همه‌چیز را از اول محاسبه کند. بک‌برنر این ورودی‌ها را در قالب صفحاتی با ظرفیت ۴۰۹۶ کلید سازمان‌دهی می‌کند.

در هر گام از محاسبه توجه، مک تانسور پرس‌وجو (Query Tensor) را برای گوشی می‌فرستد. آیفون محاسبات مربوط به توجه را روی کلیدهای کش‌شده در حافظه‌اش انجام می‌دهد و خروجی‌های جزئی یعنی مقادیر بیشینه و مجموع را به مک پس می‌دهد؛ سپس مک این نتایج را با محاسبات داخلی خود ادغام می‌کند. تمام این کار‌ها هم به لطف یک کرنل ماتریسی سفارشی روی پردازنده گرافیکی انجام می‌شود.