افزایش ۷۲ برابری سرعت پردازش هوش مصنوعی؛ راهکار جدید دانشگاه ETH Zurich برای متن‌های ۱۰ میلیون توکنی

در سازوکار توجه کامل (Full Attention)، تکتک توکن‌های پرسش (Query) با تمام توکن‌های کلید (Key) مقایسه می‌شوند؛ به همین دلیل، زمان پردازش متن ورودی با افزایش طول زمینه، به‌صورت تصاعدی و درجهدو (Quadratic) بالا می‌رود. روش‌های توجه تنک (Sparse Attention) حجم محاسبات نهایی را با انتخاب مجموعه‌ای محدود از کلیدها کاهش می‌دهند، اما نمایهسازهای مرسوم همچنان مجبورند تکتک جفت‌های پرسش و کلید را امتیازدهی و ارزیابی کنند. پژوهشگران استارتاپ Prefrontal AI و دانشگاه ETH Zurich گزارش داده‌اند که این مرحله گزینش در مدل GLM-5.3-Flash و در طول زمینه ۱۰ میلیون توکن، حدود ۹۸ درصد از کل زمان اجرای یک لایه توجه را به خود اختصاص می‌دهد.

این تیم پژوهشی برای حل این معضل، سازوکار «توجه تنک نهفته» (Latent Sparse Attention یا LSA) را پیشنهاد کرده است؛ رویکردی که کلیدها را درون یک فضای نهفته آموختهشده خوشهبندی می‌کند و به پرسش‌ها امکان می‌دهد تنها میان این خوشه‌ها به جستجو بپردازند. نسخه سلسلهمراتبی این روش موسوم به D-LSA رشد محاسباتی مرحله پیشدرخواست (Prefill) را از حالت درجهدو به حدود O(T log T) کاهش می‌دهد که در آن T نمایانگر طول توالی است. این شیوه نوین هم برای تطبیق و ارتقای چکپوینت‌های موجود و هم برای آموزش مدل‌های جدید از پایه به‌خوبی کارایی دارد.

در مقیاس ۱۰ میلیون توکن، نمایهسازی گلوگاه اصلی پردازش می‌شود

مدل‌ها در مرحله پیشدرخواست، پرامپت اولیه را پردازش کرده و حافظه موقت کلید و مقدار (KV Cache) را شکل می‌دهند. سپس در مرحله رمزگشایی (Decoding)، هر توکن تولیدشده به جستجو در این حافظه می‌پردازد. یک نمایهساز تنک سنتی شاید در نهایت فقط تعداد معدودی از کلیدها را برای اعمال توجه برگزیند، اما ابتدا باید تکتک کلیدهای موجود را بسنجد تا تصمیم بگیرد کدامیک حفظ شوند. در نتیجه، هزینه نمایهسازی در مرحله پیشدرخواست همچنان به‌صورت درجهدو باقی می‌ماند، در حالی که هر گام رمزگشایی نیز رفتاری خطی متناسب با طول متن موجود نشان می‌دهد.

روش‌های توجه تنک بلوکی (Block-sparse) با انتخاب نواحی ثابت هزینه نمایهسازی را کمتر می‌کنند، اما این خطر وجود دارد که توکن‌های مرتبط در خارج از آن بخش‌های مشخص قرار بگیرند. سایر الگوهای سلسلهمراتبی نیز به محدودیت‌های استریم یا نمایه‌های مشترک میان لایه‌ها متکی هستند. در مقابل، معماری LSA کلیدها را بر پایه بازنمایی محتوایی آموختهشده سازماندهی می‌کند؛ قابلیتی که به هر پرسش اجازه می‌دهد بخش‌های مرتبط از نظر معنایی را از سراسر متن استخراج کند.