رونمایی از مدل‌های PLaMo 3 Translate؛ ترجمه محلی و آفلاین در ۵۳ زبان بدون نیاز به اینترنت

معرفی مدل PLaMo 3 Translate

مدل PLaMo 3 Translate یک مدل زبانی بزرگ و تخصصی در حوزه ترجمه به‌شمار می‌رود که توسط شرکت ژاپنی Preferred Networks (PFN) توسعه یافته و موتور اصلی سرویس تجاری PLaMo Translation است. این شرکت اکنون وزن‌های باز هر چهار نسخه این مدل را در ابعاد ۰٫۸ میلیارد، ۲ میلیارد، ۸ میلیارد و ۳۱ میلیارد پارامتر روی پلتفرم Hugging Face و ذیل حساب کاربری pfnet در دسترس عموم قرار داده است.

این سامانه بر پایه PLaMo 3 NICT توسعه یافته که مدلی پایه حاصل همکاری مشترک PFN و مؤسسه ملی فناوری اطلاعات و ارتباطات ژاپن (NICT) است و سپس با دهها میلیارد توکن اختصاصی ترجمه آموزش تکمیلی دیده است. این مدل از ۵۳ زبان مختلف پشتیبانی می‌کند، متون پیرامونی و واژهنامه‌های اختصاصی را به‌عنوان ورودی می‌پذیرد و امکان تعیین لحن خودمانی یا رسمی را برای زبان ژاپنی فراهم می‌سازد. طبق گزارش PFN، حتی کوچک‌ترین نسخه این خانواده یعنی مدل ۰٫۸ میلیارد پارامتری، در ترجمه میان ژاپنی و انگلیسی و سایر زبان‌ها، مدل‌های تخصصی ترجمه با ابعاد بیش از ۳۰ برابر بزرگ‌تر از خود را پشت سر می‌گذارد.

حل چالش حریم خصوصی با ترجمه محلی

اسناد محرمانه سازمانی نظیر قراردادهای حقوقی، پرونده‌های پزشکی و اطلاعات داخلی شرکت‌ها اغلب نمی‌توانند به رابط‌های ابری ترجمه ارسال شوند. مدل PLaMo 3 Translate این مشکل را برطرف ساخته و به شرکت‌ها و افراد امکان می‌دهد متون خود را به‌صورت کاملاً محلی و آفلاین روی گوشی‌های هوشمند، لپتاپها و سرورهای داخلی سازمان ترجمه کنند.

ابعاد مدل و فرمت‌های عرضهشده

هر یک از نسخه‌ها در فرمت‌های BF16، FP8، W4A16، W4AFP8، NVFP4، GGUF و MLX-4bit عرضه شده‌اند و بهکمک ابزارهایی مانند Transformers، vLLM، llama.cpp یا mlx-lm قابل اجرا هستند. حداکثر طول متن در مرحله آموزش برای مجموع ورودی و خروجی ۳۲٬۷۶۸ توکن بوده است.

معماری و نحوه آموزش مدل

توسعه این مدل از طریق دادهسازی ترکیبی مبتنی بر تورنمنت، ترجمه معکوس و خودتقطیر تکرارشونده همراه با یاد‌گیری بانظارت (SFT)، روش DPO و انتقال دانش به نسخه‌های کوچک‌تر انجام شده است.

مجوز بهرهبرداری و محدودیت‌ها

• مجوز جامعه کاربری PLaMo: استفاده شخصی و غیرتجاری شامل پژوهش‌های دانشگاهی کاملاً رایگان است. شرکت‌هایی با درآمد سالانه کمتر از یک میلیارد ین ژاپن در سال مالی اخیر نیز می‌توانند پس از ثبتنام از مدل به‌صورت تجاری و رایگان استفاده کنند، اما شرکت‌های بزرگ‌تر به دریافت مجوز تجاری اختصاصی نیاز دارند.
• این مدل صرفاً برای ترجمه متون طراحی شده و به‌عنوان چت‌بات عمومی کاربرد ندارد.
• برای ترجمه متون بسیار طولانی باید متن ورودی به بخش‌های متناسب تقسیم شود تا مجموع ورودی و خروجی از محدوده تعیینشده فراتر نرود.

مخاطبان هدف و زمینه‌های کاربرد

• سازمان‌هایی که به ترجمه باکیفیت میان زبان‌های ژاپنی، انگلیسی و چینی نیاز دارند و مایل نیستند داده‌ها از شبکه محلی خارج شود
• توسعه‌دهندگان اپلیکیشن‌های موبایل که خواهان گنجاندن قابلیت ترجمه آفلاین در برنامه‌های خود هستند
• متخصصان بومیپژوهی، مترجمان زیرنویس و فعالان حوزه ترجمه تخصصی اسناد.

راهنمای شروع و نحوه استقرار

1. ابتدا یادداشت فنی PFN را مطالعه کرده و مدل مناسب نیاز خود را انتخاب نمایید.
2. برای اجرا در سیستم‌های مک از فرمان mlx_lm.generate --model pfnet/plamo-3-translate-8b-MLX-4bit و در رایانه‌های شخصی از بارگذاری pfnet/plamo-3-translate-8b-GGUF در llama.cpp استفاده کنید.
3. جهت استقرار روی سرور، فرمان vllm serve pfnet/plamo-3-translate-31b-FP8 را بهکار بگیرید.
4. دستورالعمل تعیین زبان مبدأ، زبان مقصد، بافتار متنی و واژهنامه اختصاصی را مطابق فرمت مدل اجرا کنید و در صورت استفاده تجاری، پیش از استقرار مراحل ثبتنام را انجام دهید.