درخشش مدل غول‌پیکر Le Chonk میسترال در بینایی ماشین: شکست GPT-6-Astra در ردیابی دقیق سوژه‌ها!

قابلیت «ردیابی بصری»؛ برگ برنده پرچمدار جدید میسترال

استارتاپ میسترال (Mistral AI) قابلیت ردیابی بصری (Visual Grounding) را به عنوان ویژگی کلیدی مدل پرچمدار جدیدش یعنی Mistral Large 4 که لقب بامزه «Le Chonk» را یدک می‌کشد، معرفی کرده است. ردیابی بصری یعنی هوش مصنوعی به جای اینکه صرفاً تصویر را توصیف کند، دستور متنی کاربر را دقیقاً به یک محدوده مشخص در تصویر پیوند می‌زند. برای نمونه، اگر به مدل بگویید «ترک‌خوردگی محل جوش را پیدا کن»، مدل مختصات کادر مستطیلی (Bounding Box) همان نقص فنی را تحویل می‌دهد.

این مختصات دقیق و قابل خواندن توسط ماشین، خوراک اصلی سیستم‌های بازرسی خودکار، پایپ‌لاین‌های ایجنتی، ابزار‌های جستجو در اسناد و سامانه‌های تحلیل نقشه‌های ماهواره‌ای به شمار می‌روند. میسترال این ادعای بزرگ را با ارائه نتایج بنچمارک و نمایش دموهایی کاربردی روی نقشه‌های مهندسی، اسناد PDF و تصاویر ماهواره‌ای پشتیبانی کرده است.

پیشتازی با یک درصد اختلاف؛ در انتظار تأیید مستقل

در بنچمارک تخصصی Dense 200 که استاندارد سنجش ردیابی بصری است، میسترال امتیاز ۴۲ درصد را برای مدل Le Chonk اعلام کرده که بالا‌تر از امتیاز ۴۱ درصدی مدل بسته GPT-6-Astra قرار می‌گیرد. البته این برتری یک درصدی فعلاً فقط از دل یک بنچمارک واحد بیرون آمده و نتایج بینایی ماشین میسترال هنوز توسط محققان مستقل بازآفرینی و تأیید نشده است؛ ادعایی که تا زمان آزمایش‌های تخصصی و مستقل، در حد یک گزارش آزمایشگاهی باقی می‌ماند.

این شرکت هم‌زمان با اعلام امتیاز، دموهایی از تحلیل صحنه‌های شلوغ، بررسی قطعات مکانیکی، یافتن شواهد در فایل‌های PDF و کاوش تصاویر ماهواره‌ای را به نمایش گذاشت. این نمونه‌ها نشان‌دهنده نحوه به‌کارگیری مدل در سناریوهای واقعی هستند، هرچند که دقت، تأخیر و خطای نهایی مدل در محیط عملیاتی، به نوع داده‌ها و شیوه پیاده‌سازی تیم‌ها وابسته خواهد بود.

یک تریلیون پارامتر در خدمت مختصات دقیق متنی

در معماری کارشناسان ترکیبی (Mixture of Experts یا MoE)، هر توکن ورودی تنها از مسیر دسته‌ای از کارشناسان منتخب عبور می‌کند و همین موضوع بار محاسباتی را در مقایسه با یک مدل متراکم ۱ تریلیون پارامتری به شدت کاهش می‌دهد. با این حال، تمام کارشناسان مدل باید در حافظه رم مستقر یا در کلاسترها توزیع شوند تا سامانه روتینگ بتواند به آن‌ها دسترسی داشته باشد؛ این یعنی میزبانی بومی و شخصی این مدل (Self-hosting)، حتی با وجود فعال بودن تنها ۴۹ میلیارد پارامتر در هر لحظه، پروژه‌ای فوق‌العاده سنگین از نظر زیرساخت سخت‌افزاری محسوب می‌شود.

نرم‌افزارها برای استفاده از مدل باید پاسخ متنی آن را پارس کرده و مختصات عددی را به کادرها، هایلایت‌ها یا بخش‌های برش‌خورده تبدیل کنند. بنابراین وجود یک چارچوب و فرمت پایدار برای مختصات، برای توسعه‌دهندگانی که به دنبال ابزار‌های ردیابی قابل استفاده مجدد هستند، درست به اندازه دقت خود مدل اهمیت دارد.

از خط تولید کارخانه‌ها تا مدار زمین

میسترال مستقیماً فرآیندهای صنعتی را هدف گرفته؛ جایی که مختصات استخراج‌شده تحویل نرم‌افزارهای بعدی داده می‌شوند. یک مختصات خروجی می‌تواند بلافاصله فرآیند تأیید قطعه را کلید بزند، به مدرکی مشخص در اسناد ارجاع دهد یا دستور یک دور بازرسی دیگر را صادر کند. کاربردهای برجسته‌شده در این رونمایی شامل موارد زیر است:

• بازرسی مهندسی: اعتبارسنجی قطعات مکانیکی و شناسایی ایرادات فنی احتمالی بر اساس نقشه‌های مهندسی.
• بازیابی اسناد: پیدا کردن شواهد و بندهای مرتبط در فایل‌های PDF اسکن‌شده و پر از تصویر.
• جستجوی اطلاعات مکانی: پیدا کردن اهداف در تصاویر ماهواره‌ای چند گیگاپیکسلی برای مدیریت بحران و پایش زمین.
• تحلیل نمودارها: پاسخ به پرسش‌های تحلیلی بر اساس داده‌های بصری؛ جایی که میسترال مدعی کسب نتایج درخشان در بنچمارک ChartQA Pro نیز شده است.

میسترال این مهارت‌های بصری را ناشی از پیش‌آموزش چندوجهی بومی (Native Multimodal) می‌داند. در ویدیوی معرفی رسمی، مشاهده می‌شود که مدل روی نقشه‌های مهندسی زوم می‌کند، جزئیات ریز را بررسی می‌نماید و پاسخ نهایی خود را بهبود می‌بخشد. البته کار با تصاویر غول‌پیکر گیگاپیکسلی نیازمند آن است که برنامه‌نویسان تکنیک‌های کاشی‌کاری (Tiling) یا زوم چندمرحله‌ای را پیاده کنند تا مدل بتواند بخش‌های منتخب را با وضوح کافی تحلیل کند.

دسترسی به API جلوتر از عرضه وزن‌ها

توسعه‌دهندگان در حال حاضر می‌توانند از طریق سرویس Mistral Studio API به مدل Le Chonk دسترسی داشته باشند. میسترال وعده داده که وزن‌های کامل این مدل تا پایان ماه جاری میلادی به صورت عمومی منتشر می‌شود تا تیم‌هایی با حافظه و توان پردازشی کافی بتوانند آن را روی سرور‌های اختصاصی خود مستقر کنند.

تعرفه اعلام‌شده برای این API به ازای هر یک میلیون توکن ورودی ۱.۳۶ دلار و برای هر یک میلیون توکن خروجی ۴.۱۸ دلار است. این قیمت‌ها مدل میسترال را در رده‌ای گران‌تر از رقبای متن‌باز چینی قرار می‌دهد؛ البته هزینه واقعی پروژه‌ها به عواملی مثل توکنایز شدن تصاویر، حجم پرامپت‌ها و طول پاسخ بستگی خواهد داشت.

همین حالا یک دمو توسط جامعه کاربری با نام دموی ردیابی Bun توسعه یافته که کادرهای مستطیلی را مستقیماً روی خروجی‌های مدل ترسیم می‌کند. از آنجا که مستندات رسمی میسترال ساختار استانداردی برای کادربندی ارائه نکرده‌اند، این دمو مختصات را در مقیاس نرمال‌شده ۰ تا ۱۰۰۰ دریافت می‌کند. پیاده‌سازی‌های نهایی در محیط عملیاتی باید مواردی نظیر ترتیب محورها، مبدا مختصات، مقیاس‌بندی و رفتار در حاشیه‌های تصویر را به دقت بررسی کنند.

کارنامه ناهمگون؛ درخشش در بینایی و افت در سایر بخش‌ها

ارزیابی‌های مستقلی که هم‌زمان با رونمایی این مدل منتشر شده‌اند، ادعاهای میسترال در حوزه امنیت سایبری و مباحث حقوقی را تأیید می‌کنند، اما عملکرد آن در بخش مالی را در میانه جدول نشان می‌دهند. جالب اینجاست که در یک شاخص جامع و بزرگ، Le Chonk در رتبه ۳۲ میان ۴۴ مدل قرار گرفته است! این پراکندگی نتایج نشان می‌دهد که نقاط قوت مدل روی حوزه‌های خاصی مانند ردیابی بصری متمرکز شده که البته آن هم نیازمند راستی‌آزمایی مستقل است.

پیوند مختصات بصری با امنیت و حاکمیت داده‌ها

در ماه‌های اخیر آزمایشگاه‌های هوش مصنوعی چین نظیر دیپ‌سیک (DeepSeek)، کیمی از شرکت Moonshot AI و مدل‌های Qwen از علی‌بابا بر رتبه‌بندی مدل‌های وزن‌باز تسلط کامل داشته‌اند. اکنون میسترال مدلی اروپایی با ادعای رقابتی در ردیابی اشیا و امکان استقرار محلی را وارد میدان کرده است.

امکان استقرار محلی زمانی حیاتی می‌شود که فایل‌های حساس CAD، اسناد محرمانه PDF سازمانی یا تصاویر ماهواره‌ای فوق‌سری، با محدودیت‌های قانونی حفاظت از داده، قوانین محرمانگی یا پهنای باند روبرو هستند. اگر رکورد ۴۲ درصدی Dense 200 در آزمایش‌های مستقل نیز اثبات شود، تیم‌های بازرسی صنعتی، تحلیل اسناد و علوم مکانی ابزار قدرتمند جدیدی خواهند داشت که کاملاً درون زیرساخت تحت کنترل خودشان اجرا می‌شود و مختصات سوژه‌ها را در اختیار سایر نرم‌افزارها می‌گذارد؛ هرچند که در نهایت، کارایی واقعی مدل باید در آزمون‌های عملیاتی روی نقشه‌ها و تصاویر دنیای واقعی محک بخورد.