شاهکار تازه گوگل دیپ‌مایند برای گوشی‌ها: جست‌وجوی هوشمند صدا، تصویر و ویدیو با مدل EmbeddingGemma 2

ورود بازیابی چندوجهی به دستگاه‌های شخصی با EmbeddingGemma 2

تیم گوگل دیپ‌مایند (Google DeepMind) به‌تازگی مدل EmbeddingGemma 2 را منتشر کرده است؛ یک مدل امبدینگ جمع‌وجور با ۷۴۰ میلیون پارامتر که می‌تواند انواع محتوا از متن و تصویر گرفته تا صدا و ویدیو را مستقیماً روی سخت‌افزارهای معمولی پردازش کند. گوگل این مدل را نخستین مدل امبدینگ ذاتاً چندوجهی (Natively Multimodal) خود نامیده که به طور ویژه برای جست‌وجوهای بین‌حوزه‌ای (Cross-Modal) طراحی شده است؛ برای مثال، می‌توانید با یک وویس یا فایل صوتی در میان ویدیوها جست‌وجو کنید یا با یک عبارت متنی ساده، یک قطعه صوتی خاص را بیرون بکشید.

مدل‌های امبدینگ داده‌ها را به بردارهای عددی تبدیل می‌کنند تا مواردی که از نظر معنایی به هم نزدیک‌اند، در کنار یکدیگر قرار بگیرند. حالا اگر این فرایند سنگین به‌جای فضای ابری، مستقیماً روی خودِ دستگاه انجام شود، تأخیر شبکه به صفر می‌رسد، امکان جست‌وجوی کاملاً آفلاین فراهم می‌شود و مهم‌تر از همه، اطلاعات و فایل‌های شخصی شما هرگز از دستگاه خارج نخواهند شد.

نسخه قبلی این خانواده، یعنی EmbeddingGemma 1 که فقط متن را می‌شناخت، با استقبال کم‌نظیری بیش از ۲۰ میلیون بار دانلود شد. حالا نسل دوم آن با اضافه کردن سه رمزگذار (انکودر) اختیاری برای انواع محتوا آمده و بااین‌حال، تعداد پارامترهایش همچنان زیر یک میلیارد باقی مانده است؛ مرز طلایی و کاربردی برای اجرا روی گوشی‌ها و لپ‌تاپ‌هایی با حافظه رم محدود.

۷۴۰ میلیون پارامتر؛ بارگذاری هوشمند بسته به نیاز شما

طراحی ماژولار این مدل دست توسعه‌دهندگان را حسابی باز گذاشته است؛ برنامه‌ها می‌توانند تنها بخش متنی ۲۷۰ میلیون پارامتری را لود کنند یا در صورت نیاز، انکودرهای تصویر و صدا را هم به آن اضافه نمایند. البته باید در نظر داشت که در دنیای واقعی، با اضافه شدن محیط اجرا (Runtime)، لایه‌های فعال‌سازی، ایندکس برداری و داده‌های ورودی، مصرف نهایی رم کمی بالا‌تر از این اعداد پایه خواهد بود.

بردهایی که بعد از آموزش هم کوچک می‌شوند!

گوگل با استفاده از تکنیک یادگیری بازنمایی ماتریوشکا (Matryoshka Representation Learning)، ابتدای هر بردار خروجی را طوری آموزش داده که به تنهایی هم کاملاً کارآمد و مستقل باشد. به این ترتیب، توسعه‌دهندگان می‌توانند در زمان اجرای مدل (Inference)، بردار ۷۶۸ بُعدی را بدون نیاز به آموزش مجدد مدل، به ابعاد ۵۱۲، ۲۵۶ یا حتی ۱۲۸ بُعد کوتاه کنند و با کم‌ترین افت دقت در بازیابی، حافظه و رم بسیار کمتری مصرف نمایند.

برای درک بهتر این موضوع جالب است بدانید که در دقت ۳۲ بیتی، ذخیره یک میلیون بردار ۷۶۸ بُعدی خام به حدود ۳.۱ گیگابایت فضا نیاز دارد؛ اما وقتی آن‌ها را به ۱۲۸ بُعد کاهش دهید، این عدد پیش از هزینه‌های جانبی پایگاه داده برداری به حدود ۵۱۲ مگابایت می‌رسد؛ یعنی یک کاهش حجم شگفت‌انگیز ۶ برابری!

جهش چشمگیر در بازیابی و جست‌وجوی کد

طبق گزارش گوگل، مدل EmbeddingGemma 2 نه‌تنها قدرت نسخه قبلی را در درک متون چندزبانه حفظ کرده، بلکه در بنچمارک معتبر MTEB Code امتیاز خود را از ۶۸.۷۶ به ۷۸.۶۸ رسانده است. بنچمارک MTEB یا همان Massive Text Embedding Benchmark، توانایی مدل‌های امبدینگ را در کار‌هایی مثل بازیابی، خوشه‌بندی و دسته‌بندی می‌سنجد.

این پیشرفت قابل توجه، مدل جدید را به گزینه‌ای بی‌نقص برای جست‌وجوی محلی کدها و استفاده در ایجنت‌های کدنویسی تبدیل می‌کند. علاوه بر این، گوگل تأکید کرده که در میان مدل‌های زیر ۱ میلیارد پارامتر، این مدل در ارزیابی‌های مربوط به تصویر، ویدیو، سند و صدا بالا‌ترین کیفیت به ازای هر پارامتر را ارائه می‌دهد و حتی از برخی مدل‌های تخصصی با ابعاد دو برابر بزرگ‌تر نیز عملکرد بهتری به جا گذاشته است.

البته باید توجه داشت که امتیاز بنچمارک‌ها به نوع مجموعه داده، پیش‌پردازش، ابعاد بردار و تنظیمات کوانتیزه‌سازی بستگی دارد؛ بنابراین برای استقرار در محیط واقعی، بررسی عملکرد روی سخت‌افزار مقصد ضروری است. مدل‌های امبدینگ غول‌پیکرتر هنوز هم دقت بالاتری ثبت می‌کنند و پیکربندی چندوجهی کامل این مدل نیز پیش از احتساب منابع خودِ اپلیکیشن، بیش از نیم گیگابایت از رم فعال دستگاه را اشغال می‌نماید.

یک پشته نرم‌افزاری یکپارچه برای بازیابی و تولید محتوا

در روش تولید مبتنی بر بازیابی یا همان RAG، سیستم ابتدا درون یک ایندکس برداری به دنبال داده‌های مرتبط می‌گردد و سپس نتایج را به یک مدل مولد می‌سپارد. جالب اینجاست که EmbeddingGemma 2 از توکنایزر متنی و انکودر صوتی مشترک با Gemma 4 بهره می‌برد؛ بنابراین پلتفرم‌های سازگار می‌توانند از این بخش‌ها هم‌زمان برای هر دو فرایند بازیابی و تولید محتوا استفاده کنند.

استفاده مجدد از این مؤلفه‌های مشترک، حجم کل رم مورد نیاز خط لوله RAG روی گوشی را به شدت کاهش می‌دهد؛ قابلیتی که به‌ویژه برای برنامه‌هایی که در فایل‌های صوتی جست‌وجو کرده و سپس پاسخ تولید می‌کنند، یک مزیت طلایی است. البته میزان این صرفه‌جویی به این بستگی دارد که محیط اجرای انتخابی، بخش‌های مدل را به اشتراک بگذارد یا از هر کدام نسخه‌ای مجزا لود کند.

گوگل چند نمونه برنامه کاربردی مرجع را نیز در گالری Google AI Edge منتشر کرده است: برنامه Instant Media Search که آیتم‌های رسانه‌ای را از طریق متن یا تصویر پیدا می‌کند، ابزار Video Moments Finder که لحظات و بخش‌های خاصی از ویدیو را بر اساس متن یا صدا جست‌وجو می‌نماید، و اپلیکیشن Google AI Edge Foresight که ترکیب EmbeddingGemma 2 و Gemma 4 را برای استدلال متنی به نمایش می‌گذارد.

مسیرهای استقرار و استفاده در پروژه‌ها

وزن‌های مدل در حال حاضر از طریق پلتفرم‌های هاگینگ فیس (Hugging Face) و کگل (Kaggle) در دسترس است. گوگل اعلام کرده که پشتیبانی از آن به‌زودی به بخش Model Garden پلتفرم ابری سازمانی جمینای نیز اضافه خواهد شد.

• استنتاج عمومی (General Inference): پشتیبانی از ابزار‌های محبوب Transformers، Sentence Transformers، MLX، vLLM، llama.cpp، SGLang، Ollama و LM Studio
• استقرار روی دستگاه (Edge Deployment): استفاده از MediaPipe برای تسک‌های بازیابی آماده و LiteRT برای پیاده‌سازی‌های سفارشی
• تست مستقیم در مرورگر: نسخه آزمایشی آنلاین از طریق دموی WebGPU
• تنظیم دقیق (Fine-Tuning): راهنمای رسمی منتشرشده در مستندات Unsloth

بازیابی محلی کجا ارزش واقعی خود را نشان می‌دهد؟

برنامه‌هایی که با اطلاعات حساس و محرمانه، شرایط آفلاین یا حساس به تأخیر سروکار دارند، می‌توانند با کمک EmbeddingGemma 2 فرایند بازیابی را در نزدیک‌ترین نقطه ممکن به مبدأ داده انجام دهند. سناریوهای کاربردی این مدل شامل موارد زیر است:

1. جست‌وجوی معنایی پیشرفته میان یادداشت‌ها، عکس‌ها، اسناد و وویس‌های ذخیره‌شده روی گوشی یا رایانه
2. بازیابی و کاوش محلی در کدهای پروژه برای ایجنت‌های کدنویسی روی لپ‌تاپ
3. جست‌وجوی بین‌حوزه‌ای (Cross-modal)؛ مانند پیدا کردن دقیق لحظه‌ای از ویدیو که جمله‌ای خاص در آن بیان شده است
4. دسته‌بندی و مسیریابی روی دستگاه با استفاده از MediaPipe Decision Task API

بازیابی ابری همچنان برای سناریوهایی که داده‌ها از قبل روی سرور قرار دارند و مسائلی مثل تأخیر شبکه، دسترسی آفلاین و حریم خصوصی اولویت اصلی نیستند، انتخاب مناسبی است. اما برای اپلیکیشن‌های موبایل و دسکتاپ که مستقیماً روی محتوای شخصی کاربران فعالیت می‌کنند، مؤلفه‌های مشترک این مدل با Gemma 4، قابلیت تغییر ابعاد بردارها و مصرف حافظه کم‌تر از ۶۰۰ مگابایت، برگ برنده‌ای تمام‌عیار به شمار می‌رود.