شاهکار بایدو با روش جدید ProxyAttn؛ افزایش ۱۰ برابری سرعت هوش مصنوعی در پردازش متن‌های طولانی
پژوهشگران بایدو و مؤسسه فناوری هاربین روش نوآورانه‌ای به نام ProxyAttn ابداع کرده‌اند که سرعت پردازش ورودی‌های طولانی در مدل‌های هوش مصنوعی را تا ۱۰ برابر افزایش می‌دهد. این متد جدید با بهره‌گیری از مکانیزم توجه تنک و بدون نیاز به بازآموزی مدل‌ها، مصرف حافظه و بار محاسباتی را به شکل چشمگیری پایین می‌آورد. با این راهکار، مدل‌های بزرگ زبانی می‌توانند کانتکست‌ها و متون حجیم را با حفظ دقت و بسیار سریع‌تر از گذشته پردازش کنند.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- جهش ۱۰ برابری سرعت بدون دست زدن به مدل: محققان بایدو و دانشگاه فناوری هاربین تکنیکی به نام ProxyAttn ساخته‌اند که بدون نیاز به آموزش دوباره، سرعت هسته محاسباتی توجه را تا ۱۰.۳ برابر و آماده‌سازی پرامپت‌ها را تا ۲.۴ برابر تند‌تر می‌کند.
- حل معضل بزرگ متن‌های طولانی: خود‌توجهی در مدل‌های زبانی با طولانی شدن متن به شکلی تصاعدی سنگین می‌شود؛ اما ProxyAttn به جای بررسی تک‌تک کلمات، فقط بخش‌های مهم را با اشتراک‌گذاری داده‌ها میان «هد‌های نماینده» گلچین می‌کند.
- خداحافظی با حدس‌های بی‌دقت و افت کیفیت: برخلاف روش‌های قبلی که به خاطر فشرده‌سازی بیش از حد اطلاعات کلیدی را از دست می‌دادند، این الگوریتم دقت امتیازدهی را حفظ کرده و کد‌های آن به صورت متن‌باز در گیت‌هاب در دسترس است.
شتاب‌بخشی به پردازش متون طولانی با ProxyAttn از طریق اشتراک امتیاز میان هد‌ها
مکانیزم خود‌توجهی (Self-attention) با طولانی‌تر شدن پرامپت‌ها و ورودی‌ها به‌شدت پرهزینه و سنگین می‌شود؛ چرا که هر توکن باید با تک‌تک توکن‌های دیگر در تعامل باشد. هزینه‌های پردازشی و مصرف حافظه در این فرآیند با افزایش طول توالی به‌صورت درجه‌دو یا مربعی رشد می‌کند؛ یعنی اگر طول کانتکست دو برابر شود، حجم محاسبات تقریباً چهار برابر خواهد شد. در این میان، روش توجه تنک (Sparse attention) این بار سنگین را کاهش می‌دهد؛ به این صورت که نقشه توجه را به چندین بلوک تقسیم می‌کند و تنها سراغ محاسبه بلوک‌هایی می‌رود که به احتمال زیاد حاوی روابط توکنی مهم و کاربردی هستند.
رویکرد جدید ProxyAttn که حاصل پژوهش دانشمندان مؤسسه فناوری هاربین و شرکت بایدو است، بدون نیاز به بازآموزی مدل‌ها این بلوک‌ها را بر اساس امتیاز‌های دقیق در سطح توکن و با تکیه بر یک یا چند هد توجه نماینده گلچین می‌کند. این رتبه‌بندی‌های انتخاب‌شده سپس با سایر هد‌ها به اشتراک گذاشته می‌شوند تا دیگر نیازی به تخمین زدن میزان اهمیت بر اساس خلاصه‌های توکنی شدیداً فشرده نباشد. طبق گزارش این مقاله پژوهشی، این روش سرعت کرنل توجه را تا ۱۰.۳ برابر و مرحله پیش‌پر کردن پرامپت (Prompt prefill) را تا ۲.۴ برابر افزایش می‌دهد، آن هم بدون این‌که دقت مدل در ارزیابی‌ها دچار افت محسوسی شود. کد‌های این پروژه نیز در گیت‌هاب در دسترس علاقه‌مندان قرار گرفته است.
انتخاب بلوک‌ها؛ حدس پرهزینه‌ای که همه چیز را تعیین می‌کند
سیستم‌های توجه تنک مانند MInference، FlexPrefill، XAttention و SeerAttention نقشه‌های توجه را به بلوک‌های مختلف تکه‌تکه می‌کنند، اهمیت هر بلوک را تخمین می‌زنند و در نهایت بهترین گزینه‌ها را برای محاسبه انتخاب می‌کنند. دقت در این انتخاب نقشی حیاتی دارد؛ چرا که بلوک‌های نادیده گرفته‌شده دیگر هیچ تأثیری در خروجی نخواهند داشت، و از طرف دیگر اگر بیش از حد بلوک نگه داریم، تمام مزیت‌های سرعتی و بهینه‌سازی از بین می‌رود.
بسیاری از الگوریتم‌های انتخاب‌گر، پیش از امتیازدهی اقدام به تجمیع یا پولینگ (Pooling) کوئری‌ها و کلید‌ها در طول بعد توالی می‌کنند. عملیات تجمیع از نظر پردازشی بسیار سبک و ارزان است، اما می‌تواند تعداد اندکی از جفت‌توکن‌های پرامتیاز و حیاتی را میانگین بگیرد و آن‌ها را بی‌اثر کند. این خطا در سطوح تهاجمی تنک‌سازی—جایی که الگوریتم فرصت چندانی برای حفظ بلوک‌های ازدست‌رفته ندارد—آسیب به‌مراتب شدیدتری به همراه دارد. از سوی دیگر، محاسبه ضرب داخلی در سطح تک‌تک توکن‌ها رتبه‌بندی بسیار بهتری ارائه می‌دهد، اما عملاً همان بار کاری سنگین و درجه‌دو را دوباره به سیستم تحمیل می‌کند.
هد‌های توجه معمولاً بر سر رتبه‌بندی توکن‌ها توافق دارند
مطالب مرتبط و پیشنهادی
دیتابیس همه‌فن‌حریف CedarDB برای عصر ایجنت‌های هوش مصنوعی؛ پایان جدایی تحلیل و تراکنش داده‌ها
استارتاپ آلمانی CedarDB با معرفی نسخه ابری دیتابیس نوآورانه خود، مرز دیرینه میان پایگاه‌های داده تحلیلی و عملیاتی را از میان برداشته است. این فناوری با سازگاری کامل با PostgreSQL و بهره‌گیری حداکثری از سخت‌افزارهای مدرن، پاسخ‌گویی سریع به پرسش‌های تحلیلی را برای ایجنت‌های هوش مصنوعی ممکن می‌سازد و هزینه‌های مهاجرت شرکت‌ها را به حداقل می‌رساند.
نفوذ بازرسان به دل آزمایشگاه‌های هوش مصنوعی؛ طرح جنجالی METR برای شکار ایجنت‌های سرکش
موسسه ایمنی METR در پیشنهادی جنجالی خواستار استقرار بازرسان مستقل در آزمایشگاه‌های غول‌های هوش مصنوعی شد تا ایجنت‌های خودمختار و سرکش را مستقیماً مهار کند. این برنامه پس از آن مطرح می‌شود که گزارش‌هایی از فریبکاری ایجنت‌ها و فرار آن‌ها از فیلترهای نظارتی فاش شد. کارشناسان معتقدند بدون نظارت مداوم و مستقیم، کنترل نسل بعدی هوش مصنوعی از دست توسعه‌دهندگان خارج خواهد شد.
دفاع جنجالی مدیرعامل فلاک از فناوری نظارتی وسط موج انتقادها: «نباید ترمز پیشرفت رو بکشیم!»
گرت لانگلی، مدیرعامل شرکت فلاک، در میانه موج شدید نگرانی‌ها درباره نقض حریم خصوصی، تمام‌قد از فناوری‌های نظارتی و دوربین‌های پلاک‌خوان این شرکت دفاع کرد. او با رد انتقادها تأکید کرد که مزایای این ابزار‌ها در مهار جرایم و ایجاد امنیت بسیار بیش‌تر از خطرات احتمالی سوءاستفاده است و جامعه برای امنیت بیش‌تر باید هزینه حریم خصوصی را بپردازد.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.