تبدیل صوت به متن با سرعت جت؛ نسخه بهینه‌شده ویسپر مدیوم ۲.۴ برابر سریع‌تر شد!

سرعت سرسام‌آور در تبدیل صوت به متن چندزبانه

شرکت سیسترن (SYSTRAN) دست‌به‌کار جذابی زده و چک‌پوینت نسخه مدیوم مدل ویسپر (Whisper) اوپن‌ای‌آی رو به موتور CTranslate2 منتقل کرده؛ اتفاقی عالی که به توسعه‌دهنده‌ها اجازه میده همون مدل ۷۶۹ میلیون پارامتری پردازش گفتار رو با سرعت به‌مراتب بالاتر و مصرف حافظه بسیار کمتر اجرا کنن. این نسخه بهینه‌شده دقیقاً مناسب سیستم‌هایی طراحی شده که روی سرورهای محلی یا اختصاصی اجرا میشن؛ جاهایی که تأخیر پردازش، ظرفیت پاسخ‌دهی و هزینه رم کارت گرافیک اهمیت حیاتی داره.

مدل ویسپر مدیوم از ۹۹ زبان زنده دنیا پشتیبانی می‌کنه و در کنار پیاده‌سازی متن فایل‌های صوتی، امکان ترجمه هم‌زمان صوت به زبان انگلیسی رو هم در اختیارتون میذاره. این مدل از نظر اندازه، درست در نقطه تعادل میان نسخه‌های سبک (کم‌مصرف‌تر با دقت متوسط) و خانواده سنگین لارج (بسیار دقیق ولی با نیاز پردازشی بالا) قرار گرفته؛ ویژگی جذابی که اون رو به گزینه‌ای ایده‌آل و مقرون‌به‌صرفه برای ساخت زیرنویس، ثبت و پیاده‌سازی جلسات صوتی، ابزارهای دستیار صوتی و برچسب‌گذاری دیتاست‌ها تبدیل می‌کنه.

موتور CTranslate2 چطور سرعت اجرای مدل را متحول می‌کند؟

توسعه‌دهنده‌ها در این پروژه تمام وزن‌ها و پارامترهای آموزش‌دیده مدل اصلی اوپن‌ای‌آی رو به فرمت مخصوص CTranslate2 تبدیل کردن. این موتور استنتاج مدرن با به‌کارگیری کرنل‌های بهینه‌شده، کَش هوشمند دیکودر، ادغام عملیات محاسباتی و پردازش‌های کم‌دقت‌تر، بار پردازشی اضافه و سنگین زمان اجرا رو حسابی کاهش میده.

اجرای مدل در حالت FP16 بدون دستکاری پارامترها، خروجی و دقتی کاملاً مشابه نسخه اصلی ارائه میده؛ هرچند بسته به تنظیمات دیکود، دقت اعشاری و سخت‌افزار مورد استفاده، ممکنه جزئیات متن نهایی اندکی تفاوت داشته باشه. از طرف دیگه، استفاده از حالت INT8 مصرف حافظه گرافیکی رو باز هم کمتر می‌کنه؛ البته با هزینه اندکی در کاهش دقت که بهتره پیش از استفاده روی فایل‌های صوتی واقعی تست بشه.

اختلاف چشمگیر سرعت در آمار و بنچمارک‌ها

بر اساس بنچمارک‌های رسمی منتشرشده در پروژه faster-whisper، پیاده‌سازی و استخراج متن ۱۳ دقیقه فایل صوتی با مدل Whisper large-v2 روی یک کارت گرافیک NVIDIA GeForce RTX 3070 Ti با حافظه ۸ گیگابایت آزمایش شده است. هرچند این بنچمارک از مدل بزرگ‌تر لارج استفاده کرده، اما به وضوح نشان میده که موتور CTranslate2 تحت تنظیمات و شرایط کاملاً برابر دیکود، چطور عملکردی به مراتب چابک‌تر و کم‌مصرف‌تر نسبت به نسخه استاندارد به نمایش میذاره.