مایکروسافت از مدل Mage-VL-Cowork رونمایی کرد؛ کنترل هوشمند دسکتاپ با کلیک و کدنویسی

مقدمه

تیم Mage در مایکروسافت در تاریخ ۳۰ اکتبر ۲۰۲۶ از عامل هوشمند جدیدی به نام Mage-VL-Cowork رونمایی کرد؛ مدلی با ۴ میلیارد پارامتر که برای کار مستقیم با کامپیوتر طراحی شده و وزن‌های آن تحت مجوز Apache-2.0 به‌صورت متن‌باز در پلتفرم Hugging Face در دسترس قرار گرفته است. شعار اصلی این پروژه این است: «یک خط‌مشی ۴ میلیاردی که می‌داند چه زمانی باید کلیک کند و چه زمانی کد بنویسد.»

برخلاف سیستم‌های سنتی ایجنت که تصمیم‌گیری را میان دو اپراتور مجزا برای محیط گرافیکی و کدنویسی تقسیم می‌کنند، Mage-VL-Cowork یک سیاست یکپارچه بینایی و زبان است؛ این مدل با مشاهده اسکرین‌شات‌های تمام‌صفحه از دسکتاپ، در هر مرحله تصمیم می‌گیرد که آیا عملیات ماوس و کیبورد را اجرا کند یا در محیط پایدار ترمینال و پایتون دستورات لازم را به اجرا درآورد. مایکروسافت از دستیابی به امتیاز ۶۶٫۰ درصد در بنچمارک OSWorld-Verified با سقف ۵۰ مرحله خبر داده است؛ رکوردی که بالاترین نتیجه گزارش‌شده در مقیاس ۴ میلیارد پارامتر محسوب می‌شود و حتی بالاتر از مدل‌های متن‌باز بزرگ‌تری مانند Muse Glimmer-30B با ۶۵٫۹ درصد و Qwen3.6-27B با ۶۳٫۹ درصد قرار می‌گیرد.

بررسی جزئیات فنی

نکات کلیدی

1. فضای کنش ترکیبی (Hybrid action space): این سیستم دو مسیر ارتباطی دارد؛ مسیر computer_use که شامل ۱۱ دستور پایه در رابط کاربری با مختصات نرمال‌شده است، و مسیر bash که به شل پایدار و پایتون متصل می‌شود. خود مدل تصمیم می‌گیرد که از کدام مسیر استفاده کند و هیچ مسیریاب خارجی یا ناظر چندعاملی در این فرایند دخالت ندارد.
2. روش آموزش پیشرفته: فرایند آموزش پنج مرحله متوالی را طی کرده است که شامل پیش‌آموزش میانی، یاد‌گیری با نظارت رابط گرافیکی (GUI SFT)، یاد‌گیری با نظارت ترکیبی و در نهایت یاد‌گیری تقویتی برخط (Online RL) بر پایه یک نسخه اولیه از Mage-VL است. امتیاز مدل در طول این مراحل از ۴۵٫۵۶ درصد به ۵۵٫۸۴ درصد و در نهایت به ۶۶٫۰ درصد رسید؛ مرحله یاد‌گیری تقویتی علاوه بر ارتقای ۱۰٫۱۶ درصدی امتیاز، فراخوانی مدل را ۱۳ درصد و تولید توکن‌های خروجی را ۲۵ درصد کاهش داده است.
3. مجموعه‌داده Mage-CUA-Forge: این ابزار یک ترکیب‌کننده وظایف مبتنی بر جریان کار است که ۲۹۳٬۸۰۶ تسک دسکتاپ و وب را در قالب ۶٬۹۱۵ مهارت ایجاد کرده و هزینه تولید هر تسک را ۸۲٫۶ درصد کاهش داده است.
4. نتایج بنچمارک‌ها: مدل توانسته در تسک‌های سیستم‌عامل بنچمارک OSWorld به‌دقت ۸۷٫۵ درصد و در جریان‌های کاری بین چند برنامه به ۶۲٫۷ درصد دست یابد؛ هم‌چنین جهش‌های چشمگیری در آزمون‌های ارزیابی ScreenSpot-v2 و تطبیق محیطی OSWorld-G ثبت کرده است.
5. نکات احتیاطی: این آمارها توسط تیم مایکروسافت و با ابزار ارزیابی اختصاصی MAGEHybridAgent ثبت شده است و باید منتظر بازتولید و تأیید مستقل این نتایج توسط سایر محققان بود.

چرا این دستاورد اهمیت دارد؟

یک مدل ۴ میلیارد پارامتری به اندازه‌ای جمع‌وجور است که بتوان آن را روی یک کارت گرافیک مصرفی یا یک لپ‌تاپ قدرتمند اجرا کرد؛ به این ترتیب Mage-VL-Cowork خودکارسازی پیشرفته دسکتاپ را به سوی پردازش روی دستگاه (On-Device) هدایت می‌کند. با این حال، صدور مجوز اجرای دستورات متنی ترمینال برای یک مدل روی دستگاه واقعی، همواره نیازمند دقت بالا پیرامون مسائل امنیتی و کنترل دسترسی است.

نحوه استفاده و تجربه مدل

راهنمای راه‌اندازی

1. ابتدا صفحه رسمی پروژه و گزارش فنی آن (لینک PDF موجود در صفحه) را مطالعه کنید.
2. وزن‌های مدل را از مخزن Hugging Face با شناسه microsoft/Mage-VL-Cowork دانلود کنید و از ابزار ارائه‌شده MAGEHybridAgent برای بازتولید شرایط آزمون OSWorld (با وضوح ۱۹۲۰ در ۱۰۸۰ و تاریخچه سه تصویر اخیر) بهره بگیرید.
3. بهتر است در آغاز مدل را درون یک ماشین مجازی یا محیط ایزوله (سندباکس) اجرا کنید؛ از آنجا که این مدل توانایی اجرای دستورات bash را دارد، پیش از دسترسی به داده‌های واقعی باید لایه‌های دسترسی و سیاست‌های امنیتی مناسب را برای آن تنظیم نمایید.
4. کاربردهای ایدئال: خودکارسازی برنامه‌های اداری نظیر صفحات گسترده، مدیریت ایمیل و فایل‌ها، کنترل کیفیت نرم‌افزارهای دسکتاپ، و پژوهش پیرامون عامل‌های هوشمند سبک روی دستگاه.