اجرای رایگان مدل صوتی ویسپر داخل مرورگر؛ تبدیل صوت به متن بدون نیاز به پایتون!

چطور Whisper Tiny راهش را به مرورگر باز کرد؟

صفحه هاگینگ‌فیس مدل Xenova/whisper-tiny.en آمار خیره‌کننده‌ای را ثبت کرده است: بیش از ۸۲۴ هزار بار دانلود ماهانه و حداقل ۷۹ فضای عمومی (Spaces) فعال که از این مدل استفاده می‌کنند. این مخزن، کوچک‌ترین نسخه انگلیسی مدل Whisper شرکت OpenAI را در قالب فایل‌های بهینه‌شده ONNX بسته‌بندی کرده تا کتابخانه Transformers.js بتواند بدون کوچک‌ترین نیازی به سرویس‌ها یا سرور‌های پایتون، سیستم تبدیل گفتار به متن را مستقیماً داخل مرورگر کاربر به اجرا درآورد.

ویسپر در لباس جاوااسکریپت

این تبدیل و پورت نرم‌افزاری، معماری اصلی و تمام پارامترهای آموزش‌دیده مدل را بدون دستکاری حفظ کرده است. مدل Whisper Tiny English همچنان یک مدل ترنسفورمر انکودر-دیکودر با حدود ۳۹ میلیون پارامتر است که منحصراً برای تشخیص گفتار انگلیسی آموزش دیده است. تفاوت اصلی در شیوه استقرار و اجرای آن است؛ جایی که فرمت خروجی بازآرایی شده تا موتور ONNX Runtime Web بتواند از طریق وب‌اسمبلی (WebAssembly) یا شتاب‌دهنده گرافیکی WebGPU (روی مرورگرهای سازگار) آن را بی‌درنگ اجرا کند.

فرمت ONNX شبکه عصبی را به شکل یک گراف محاسباتی سبک و قابل‌حمل همراه با وزن‌های مربوطه ذخیره می‌کند. یک موتور اجرای سازگار با ONNX می‌تواند این گراف را بدون نیاز به نصب PyTorch لود کند؛ قابلیتی فوق‌العاده کاربردی که مسیر اجرای لوکال مدل‌های هوش مصنوعی را در اپلیکیشن‌های تحت وب و جاوااسکریپت هموار می‌کند.

سریع‌ترین مسیر برای پیاده‌سازی تبدیل صوت به متن

برای پیاده‌سازی این قابلیت در پروژه‌های مبتنی بر Transformers.js، تنها به نصب یک پکیج و تنظیم یک خط‌لوله (پایپ‌لاین) تشخیص خودکار گفتار نیاز دارید:

npm install @huggingface/transformers

import { pipeline } from '@huggingface/transformers';

const transcriber = await pipeline(
  'automatic-speech-recognition',
  'Xenova/whisper-tiny.en'
);

const audio =
  'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/jfk.wav';

const result = await transcriber(audio);
console.log(result.text);