ابزار متن‌باز agent-desktop معرفی شد؛ دسترسی کامل ایجنت‌های هوش مصنوعی به محیط دسکتاپ

معرفی ابزار agent-desktop

ابزار agent-desktop یک راهکار متن‌باز تحت خط فرمان از سوی Vercel Labs است که در تاریخ ۳۱ اکتبر ۲۰۲۶ رسماً معرفی شد و قابلیت کنترل دسکتاپ (Computer Use) را به شکلی پایدار در اختیار انواع ایجنت‌های هوش مصنوعی قرار می‌دهد. این ابزار در واقع مکمل پروژه دیگر این مجموعه به نام agent-browser محسوب می‌شود؛ در حالی که ابزار مرورگر برای هدایت صفحات وب طراحی شده است، ابزار agent-desktop برای کنترل و اجرای نرم‌افزارهای بومی (Native) در سیستم‌عامل‌های macOS، ویندوز و لینوکس به کار می‌رود.

این ابزار به‌جای حدس زدن موقعیت المان‌ها از روی اسکرین‌شات و پردازش پیکسلی، ساختار واقعی رابط کاربری هر نرم‌افزار را از طریق درخت دسترسی‌پذیری (Accessibility Tree) سیستم‌عامل می‌خواند. این رویکرد باعث می‌شود شناسه‌ها و ارجاعات دکمه‌ها و فرم‌ها کاملاً پایدار بمانند و اجرای دوباره اقدامات بدون خطا انجام شود. پروژه مذکور با زبان قدرتمند Rust توسعه یافته است و با دستور npm i -g agent-desktop نصب می‌شود.

ویژگی‌های برجسته و وجه تمایز ابزار

• استفاده از درخت دسترسی‌پذیری به‌جای پیکسل‌های تصویر: ایجنت‌ها فهرستی ساختاریافته از دکمه‌ها، فیلدهای ورودی و منوها با ارجاعات پایدار دریافت می‌کنند که در مقایسه با کلیک بر اساس اسکرین‌شات، علاوه بر کاهش چشمگیر مصرف توکن، پایداری بسیار بالاتری دارد.
• بررسی جزئی و متمرکز: ایجنت می‌تواند برای صرفه‌جویی در مصرف توکن، تنها بخش مشخصی از پنجره برنامه را پیمایش و ارزیابی کند.
• اجرای موازی و پس‌زمینه: این ابزار به‌صورت پیش‌فرض در حالت بدون رابط بصری (Headless) اجرا می‌شود؛ بنابراین ایجنت‌ها می‌توانند در پس‌زمینه کار خود را انجام دهند در حالی که شما هم‌زمان مشغول کار با کامپیوتر هستید، و حتی چندین ایجنت می‌توانند به‌طور هم‌زمان یک برنامه را مدیریت کنند.
• پشتیبانی از چندین سیستم‌عامل: سازگار با macOS (نیازمند مجوز دسترسی‌پذیری از طریق دستور agent-desktop permissions --guide)، ویندوز و لینوکس (نیازمند بسته at-spi2-core).
• قابلیت اجرا در محیط ابری: کاربران می‌توانند یک میزکار لینوکسی را درون محیط ایزوله Vercel Sandbox راه‌اندازی کنند، ابزار agent-desktop را در آن به اجرا درآورند و خروجی داده‌ها را به‌صورت ساختاریافته در قالب JSON تحویل بگیرند.
• تست سرتاسری نرم‌افزارها (E2E): این ابزار علاوه بر خودکارسازی وظایف روزمره، گزینه‌ای ایده‌آل برای ارزیابی و تست سرتاسری نرم‌افزارهای دسکتاپ توسط ایجنت‌های هوش مصنوعی به‌شمار می‌رود.

پیشینه و زمینه توسعه

مخزن گیت‌هاب vercel-labs/agent-desktop در اوایل سال ۲۰۲۶ با حدود ۱٫۸ هزار ستاره ایجاد شده بود، اما رونمایی عمومی و رسمی آن در ۳۰ و ۳۱ اکتبر ۲۰۲۶ رقم خورد. ترکیب این ابزار با agent-browser به مدل‌ها و عوامل هوشمند توانایی کنترل کامل کامپیوتر را چه در سطح صفحات وب و چه در میان برنامه‌های دسکتاپ می‌بخشد.

راهنمای نصب و راه‌اندازی

1. نصب اولیه: اجرای دستور npm i -g agent-desktop در ترمینال.
2. اعطای مجوزها: در سیستم‌عامل macOS دستور agent-desktop permissions --guide را اجرا کرده و دسترسی Accessibility را به ترمینال بدهید؛ در لینوکس نیز بسته at-spi2-core را نصب کنید.
3. اتصال به ایجنت برنامه‌نویسی: به ایجنت هوش مصنوعی خود (مانند Claude Code، Codex یا Cursor) اجازه دهید ابزار خط فرمان را فراخوانی کند، پنجره‌ها را لیست نماید، درخت دسترسی‌پذیری را بخواند و سپس با شناسه‌های به دست آمده کلیک یا تایپ کند.
4. هم‌افزایی با مرورگر: در سناریوهایی که انجام وظایف به تعامل هم‌زمان میان وب‌سایت‌ها و نرم‌افزارهای دسکتاپ نیاز دارد، می‌توانید آن را با agent-browser ترکیب کنید.
5. ایزوله‌سازی فرایندها: برای رعایت مسائل امنیتی و جداسازی محیط اجرا، می‌توانید ابزار را به‌جای سیستم شخصی خود، درون دسکتاپ لینوکسی Vercel Sandbox راه‌اندازی کنید.

مخزن و مستندات پروژه: صفحه گیت‌هاب agent-desktop و مستندات رسمی ابزار.

نکته مهم امنیتی: از ورود به حساب‌های کاربری حساس و ثبت اطلاعات محرمانه در محیط دسکتاپی که تحت کنترل ایجنت هوش مصنوعی قرار دارد خودداری کنید.