پژوهشگران با معرفی Optmax، محاسبات مکانیزم توجه هوش مصنوعی را از سیلیکون به نور منتقل کردند

پژوهشگرانی از دانشگاه ETH Zurich، دانشگاه Queen’s و مؤسسات همکار، راهکاری نوین برای انتقال توابع فعال‌سازی مکانیزم توجه مانند Softmax و Sigmoid از محاسبات سنتی پردازنده‌های گرافیکی به واحدهای نوری آنالوگ پیشنهاد داده‌اند. آن‌ها در مقاله پژوهشی خود دو تابع با نام‌های Optmax و Optmoid را معرفی کرده‌اند که با استفاده از مدولاتورهای ماخ-زندِر لایه‌نازک نیوبات لیتیم پیاده‌سازی شده‌اند. آزمایش‌های اولیه روی مدل‌های بینایی Vision Transformer و مدل زبانی GPT-2 نشان می‌دهد شبکه‌هایی که با این تقریب‌های نوری آموزش دیده‌اند، دقتی بسیار نزدیک به مدل‌های دیجیتالی استاندارد ثبت می‌کنند.

این پژوهش نتایج حاصل از اندازه‌گیری‌های تجربی روی مدولاتورهای ساخته‌شده را با شبیه‌سازی‌های مدل مبتنی بر آگاهی سخت‌افزاری ترکیب کرده است. با این حال، توسعه شتاب‌دهنده یکپارچه ترکیب‌کننده پردازنده گرافیکی و قطعات نوری و هم‌چنین سنجش میزان شتاب نهایی در دنیای واقعی، به پروژه‌های آینده موکول شده است؛ از این رو آمارهای اعلام‌شده درباره تاخیر و مصرف انرژی فعلاً برآورد به‌شمار می‌روند و بنچمارک نهایی سیستمی محسوب نمی‌شوند.

چرا بار پردازشی تابع Softmax بسیار فراتر از محاسبات خام آن است؟

تابع Softmax با محاسبه تابع نمایی روی تک‌تک امتیازها و گرفتن مجموع آن‌ها در هر سطر، مقادیر مکانیزم توجه را به وزن‌های نرمال‌شده تبدیل می‌کند:

softmax(xi) = exp(xi) / Σj exp(xj)

هسته‌های تنسور پردازنده‌های گرافیکی ضرب ماتریس‌های متراکم را با توان پردازشی بسیار بالا انجام می‌دهند، در حالی که محاسبات توابع نمایی به بخش محدودی از سخت‌افزارهای اختصاصی متکی هستند. از سوی دیگر، تابع Softmax به عملیات کاهش ابعاد، همگام‌سازی و تقسیم نیز نیاز دارد. این وابستگی‌های پردازشی سبب می‌شوند که اجرای Softmax حتی در شرایطی که کمتر از ۱ درصد محاسبات یک مدل ترنسفورمر را تشکیل می‌دهد، به گلوگاه اصلی پردازش تبدیل شود.

مکانیزم توجه کامل و استاندارد با افزایش طول توالی به‌صورت مربعی مقیاس‌پذیر می‌شود، چراکه هر توکن ناچار است با تمام توکن‌های دیگر تعامل داشته باشد. راهکارهای تلفیقی و پیشرفته، مانند کرنل‌های توجه تکه‌بندی‌شده (Tiled Attention)، ترافیک حافظه را کاهش می‌دهند و مانع از تشکیل ماتریس کامل توجه می‌شوند؛ اما همچنان ناگزیرند بیشینه‌های هر سطر، توابع نمایی، مجموع داده‌ها و خروجی‌های نرمال‌شده را به‌شکل دقیق محاسبه کنند.