قابلیت جدید Computer Use در کرسر؛ ایجنت هوش مصنوعی کنترل برنامه‌های دسکتاپ را به دست گرفت
محیط توسعه محبوب کرسر با افزودن قابلیت Computer Use به ایجنت محلی خود، امکان تعامل مستقیم با برنامه‌های دسکتاپ، کلیک و ثبت اسکرین‌شات را فراهم کرد. این ویژگی به برنامه‌نویسان اجازه می‌دهد فرآیند توسعه، اجرای شبیه‌سازها و بررسی بصری خروجی را در یک چرخه خودکار تجربه کنند.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- قابلیت جدید Computer Use به ایجنت کدنویسی کرسر امکان می‌دهد با رابط گرافیکی برنامه‌های دسکتاپ تعامل داشته باشد، کلیک کند و اسکرین‌شات بگیرد.
- ایجنت کرسر اکنون می‌تواند اپلیکیشن‌های موبایل را داخل شبیه‌ساز iOS اجرا کند، فرم‌ها را پر کرده و پس از ارزیابی بصری، کدها را بازنویسی کند.
- دسترسی مستقیم ایجنت به دسکتاپ ریسک‌های امنیتی به‌همراه دارد و کرسر استفاده از تدابیر حفاظتی و محیط‌های آزمایشی را توصیه می‌کند.
محیط توسعه کرسر (Cursor) قابلیت Computer Use را به ویرایشگر دسکتاپ خود اضافه کرده است؛ امکانی که به ایجنت محلی کدنویسی اجازه می‌دهد در برنامه‌های دارای رابط گرافیکی (GUI) روی رایانه توسعه‌دهنده کلیک کند، متن بنویسد و اسکرین‌شات بگیرد. این ویژگی، چرخه کاری ایجنت‌ها را فراتر از ویرایش ساده فایل‌ها، اجرای دستورات خط فرمان (ترمینال) و خودکارسازی مرورگر وب می‌برد. از این پس، ایجنت می‌تواند در قالب یک تسک واحد، قابلیتی را برای اپلیکیشن iOS توسعه دهد، شبیه‌ساز (Simulator) را باز کند، در محیط برنامه جابه‌جا شود، نتیجه را بررسی کرده و در صورت لزوم کدها را بازنویسی کند.
توسعه‌دهندگان می‌توانند با افزودن عبارت @Computer Use به پرامپت خود، این ابزار را فراخوانی کنند. همچنین کرسر ممکن است هرگاه تسکی نیازمند تعامل با یک رابط بصری باشد، این قابلیت را به‌صورت خودکار فعال کند. این ویژگی با به‌روزرسانی برنامه دسکتاپ از صفحه دانلود کرسر در دسترس است. کرسر اعلام کرده که این به‌روزرسانی تغییری در ساختار قیمت‌گذاری سرویس ایجاد نمی‌کند.
پیش از این، ایجنت محلی کرسر توانایی ویرایش فایل‌ها، اجرای دستورات و مدیریت صفحات وب از طریق یک مرورگر داخلی را داشت؛ اما فرآیندهای بومی دسکتاپ همچنان به دخالت دستی کاربر یا سرورهای خارجی متصل به پروتکل کانتکست مدل (MCP) وابسته بود. این شرکت پیش‌تر در یکی از پاسخ‌های فروم خود اعلام کرده بود که در حال بررسی امکان کنترل دسکتاپ محلی است، هرچند برنامه زمانی مشخصی برای آن ارائه نداده بود.
ورود رابط گرافیکی به چرخه ساخت و بیلد پروژه
قابلیت Computer Use ایجنت را به نمایشگر فعال و کنترل‌های ورودی سیستم متصل می‌کند. با در نظر گرفتن مجوزهای سیستم‌عامل و سازگاری برنامه‌ها، اپلیکیشن‌هایی که رابط بصری در دسترسی دارند، اکنون می‌توانند به بخشی از فرآیند توسعه خودکار تبدیل شوند.
- ایجنت کدهای پروژه را ویرایش کرده و فرآیند بیلد را اجرا می‌کند.
- سپس یک برنامه بومی، شبیه‌ساز، فایل نصبی یا رابط کاربری سیستم‌عامل را باز می‌کند.
- روی کنترل‌ها کلیک کرده، متن وارد می‌کند و در جریان کار برنامه پیش می‌رود.
- از صفحه نهایی اسکرین‌شات گرفته و خروجی بصری را ارزیابی می‌کند.
- در صورت نیاز، تغییرات لازم را در کد اعمال کرده و همین روند را تکرار می‌کند.
ایجنت می‌تواند این ابزار را به‌صورت خودکار انتخاب کند یا به فراخوانی صریح در پرامپت پاسخ دهد:
حالت | نحوه فعال‌سازی | بهترین سناریوی کاربرد |
|---|---|---|
خودکار (Automatic) | کرسر تشخیص می‌دهد که تسک نیازمند تعامل با رابط گرافیکی است. | کارهای طولانی‌تر که شامل رفت‌وبرگشت میان کد، دستورات ترمینال و تست‌های بصری هستند. |
دستی (Manual) | پرامپت کاربر حاوی دستور @Computer Use باشد. | تسک‌هایی که توسعه‌دهنده از همان ابتدا قصد دارد کنترل دسکتاپ را به ایجنت بسپارد. |
سه محیط دسکتاپ متفاوت در اکوسیستم کرسر
کرسر پیش از این نیز از قابلیت کنترل رایانه در ایجنت‌های ابری و سرورهای سلف‌هاستد (میزبانی شخصی) پشتیبانی می‌کرد. نسخه جدید، دسکتاپ فعالِ خودِ توسعه‌دهنده را نیز به این معماری اضافه می‌کند.
محیط | دسکتاپ تحت کنترل | چرخه کاری معمول |
|---|---|---|
ایجنت محلی IDE | سیستم فعلی خود توسعه‌دهنده | تست برنامه‌های بومی، شبیه‌سازها، پنجره‌های محاوره‌ای و ابزارهای محلی در طول جلسه کدنویسی تعاملی |
ایجنت ابری | یک ماشین مجازی مجزا با محیط دسکتاپ | راه‌اندازی سرورهای توسعه، تست فرآیندهای مرورگر و آماده‌سازی پول‌ریکوئست‌ها از راه دور |
ورکر سلف‌هاستد | نشست کاری روی سیستم macOS یا لینوکس | اجرای تسک‌های ایجنت در زیرساخت تحت کنترل خود توسعه‌دهنده یا سازمان |
ورکرهای سلف‌هاستد از یک برنامه کمکی (worker helper) استفاده می‌کنند که توانایی کلیک کردن، تایپ و ثبت تصویر از صفحه ورکر را دارد. در ورکرهای مک، این قابلیت با دستور agent worker --computer-use start فعال می‌شود. افزوده شدن دسکتاپ کاربر به ایجنت IDE باعث می‌شود ابزارهای نصب‌شده روی سیستم، نظیر Xcode و Simulator، هم‌زمان با ویرایش کد در دسترس ایجنت قرار بگیرند.
چرا شبیه‌ساز iOS ستاره اصلی این رونمایی است؟
توسعه اپلیکیشن‌های موبایل همواره یکی از بزرگ‌ترین محدودیت‌های ایجنت‌های کدنویسی را نمایان می‌کرد: فرآیند بیلد اغلب به یک رابط گرافیکی ختم می‌شود که نیازمند لمس دکمه‌ها، وارد کردن اطلاعات و جابه‌جایی میان صفحات است. قابلیت قبلی کرسر یعنی Render Preview می‌توانست اسکرین‌شات‌هایی از شبیه‌ساز برای ایجنت ثبت کند، اما تعامل داخل دستگاه شبیه‌سازی‌شده همچنان به دخالت دستی کاربر نیاز داشت.
اکنون Computer Use می‌تواند کل این چرخه تست را مدیریت کند:
- بیلد و اجرای اپلیکیشن.
- باز کردن شبیه‌ساز iOS (Simulator).
- گذر از مراحل ورود اولیه (Onboarding) و جابه‌جایی در صفحات برنامه.
- وارد کردن متن و ثبت فرم‌ها.
- ثبت اسکرین‌شات برای بررسی دقیق ظاهر برنامه.
- اصلاح پیاده‌سازی کدها و اجرای مجدد چرخه تست.
این فرآیند، نیاز به مداخله برنامه‌نویس در طول تست رابط کاربری را به حداقل می‌رساند و اطلاعات بصری مستقیمی درباره چیدمان، ناوبری و وضعیت نمایان اپلیکیشن در اختیار ایجنت می‌گذارد.
کاربردهای گسترده فراتر از دنیای موبایل
قابلیت Computer Use برای تسک‌هایی مناسب است که دستورات ترمینال یا انتخاب‌گرهای مرورگر دسترسی کاملی به رابط کاربری فراهم نمی‌کنند. از مهم‌ترین سناریوهای کاربرد این ابزار می‌توان به موارد زیر اشاره کرد:
- برنامه‌های دسکتاپ فاقد رابط خط فرمان (CLI) کاربردی.
- کلاینت‌های بومی، ابزارهای طراحی، برنامه‌های اجراکننده (Launchers) و فایل‌های نصبی نرم‌افزار.
- پنجره‌های اعلان سیستم‌عامل و فرآیندهای چندپنجره‌ای.
- بررسی‌های رگرسیون بصری که به خروجی رندرشده وابسته هستند.
- تست‌های سرتاسری (End-to-End) که مرورگر، اپلیکیشن بومی و کنترل‌های سیستم‌عامل را دربرمی‌گیرند.
دسترسی به دسکتاپ و ابعاد امنیتی آن
ایجنتی که کنترل دسکتاپ فعال کاربر را به دست می‌گیرد، ممکن است با پیام‌های خصوصی، اطلاعات ورود و رمزهای عبور، حساب‌های حساس محیط عملیاتی (Production)، گزینه‌های مخرب سیستمی و برنامه‌های متفرقه روبه‌رو شود. علاوه بر این، ممکن است در حین اجرا با حرکات ماوس یا کلیدهای کیبورد کاربر تداخل پیدا کند. تیم‌هایی که از این ویژگی استفاده می‌کنند، باید دسترسی به رابط کاربری را یک مجوز حساس و سطح‌بالا در نظر بگیرند.
بر اساس مستندات مجوزهای سلف‌هاستد، استفاده از این مسیر نیازمند تأیید صریح کاربر است و سیستم‌عامل macOS مجوزهای دسترسی‌پذیری (Accessibility) و ضبط صفحه (Screen Recording) را به‌صورت اختصاصی به برنامه کمکی اعطا می‌کند. نحوه مدیریت مجوزها، تأیید اقدامات، ایجاد محدودیت برای برنامه‌ها، مدت زمان نگهداری اسکرین‌شات‌ها و مسیر هدایت مدل‌ها، از موارد نظارتی کلیدی برای نسخه محلی IDE محسوب می‌شوند. شایان ذکر است که در این زمینه، واژه «محلی» صرفاً به دستگاه تحت کنترل اشاره دارد و به معنای اجرای مدل هوش مصنوعی روی سخت‌افزار سیستم کاربر نیست.
راهکارهای امنیتی کاربردی شامل موارد زیر است:
- استفاده از حساب‌های آزمایشی و محیط‌های غیرعملیاتی برای اجرای فرآیندهای خودکار.
- بستن برنامه‌های نامرتبط و پاکسازی اطلاعات حساس از صفحه دسکتاپ.
- کامیت یا استش (Stash) کردن تغییرات کد پیش از آغاز اقدامات چندمرحله‌ای ایجنت.
- نظارت بر فرآیندهایی که قابلیت حذف داده‌ها، ثبت فرم‌ها، انتشار محتوا یا دستکاری تنظیمات سیستم را دارند.
- استفاده از یک حساب کاربری مجزا در سیستم‌عامل یا دستگاه تست جداگانه در صورت نیاز به ایزوله‌سازی قوی‌تر.
کنترل رابط گرافیکی در حال تبدیل شدن به یک استاندارد است
شرکت آنتروپیک قابلیت کنترل کامپیوتر را از طریق مدل Claude ارائه می‌دهد، اوپن‌ای‌آی فناوری ایجنت مبتنی بر رایانه (Computer-Using Agent) خود را توسعه داده و گیت‌هاب کوپایلوت نیز نسخه پیش‌نمایش کنترل دسکتاپ را برای macOS و ویندوز معرفی کرده است. کرسر پیش از این محیط‌های دسکتاپ ابری و سلف‌هاستد را پوشش داده بود و اکنون با ویژگی Computer Use، همین تعامل را مستقیماً وارد ویرایشگر محلی خود کرده است.
برای برنامه‌نویسان، دستاورد ملموس این تحول، شکل‌گیری یک چرخه خودکار و طولانی‌تر است؛ ایجنت کرسر اکنون می‌تواند از پیاده‌سازی کدها مستقیماً به سراغ تست رابط کاربری بومی برود و بدون نیاز به کلیک‌های متوالی برنامه‌نویس میان این مراحل، دوباره برای بهینه‌سازی کدها بازگردد.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
سناریوهای آخرالزمانی هوش مصنوعی قبلاً بدون هوش مصنوعی تا پای فاجعه رفته‌اند؛ خطر واقعی کجاست؟
بررسی تاریخ نشان می‌دهد سناریوهای آخرالزمانی هوش مصنوعی نظیر ساخت سلاح‌های بیولوژیکی یا پرتاب اشتباه موشک هسته‌ای، پیش‌تر بدون حضور این فناوری تا یک‌قدمی فاجعه پیش رفته‌اند. در تمامی این بحران‌ها ماشین‌ها خطا کردند و انسان‌ها مانع فاجعه شدند؛ در نتیجه تهدید واقعی نه ربات‌های خودمختار، بلکه اعتماد به گزارش‌های نادرست هوش مصنوعی در دقایق بحرانی است.
شبکه برق چگونه در برابر حملات هوش مصنوعی مقاومت می‌کند؟ پاشنه آشیل تأسیسات کوچک شهری
در حالی که غول‌های انرژی با سرمایه‌گذاری سنگین سامانه‌های خود را در برابر نفوذ هکرها نفوذناپذیر کرده‌اند، تأسیسات محلی و کوچک خدمات شهری به هدفی آسان برای مهاجمان تبدیل شده‌اند. با ظهور ابزارهای هوش مصنوعی که حملات سایبری را ارزان‌تر و سریع‌تر می‌کنند، شکاف امنیتی این شبکه‌ها تهدیدی جدی برای زندگی شهروندان است.
معافیت یک‌ساله اینتل از قانون ممنوعیت ربات‌های خارجی؛ خطوط تولید تراشه آمریکا در امان ماندند
شرکت اینتل موفق شد برای ادامه فعالیت ناوگان خودروهای رباتیک خارجی در کارخانه‌های تراشه‌سازی خود در آمریکا، معافیتی یک‌ساله از کمیسیون ارتباطات فدرال دریافت کند. این تصمیم پس از آن اتخاذ شد که مقررات مبهم دولت ایالات متحده علیه ربات‌های ساخت خارج، نگرانی‌هایی جدی درباره توقف خطوط تولید نیمه‌رسانا ایجاد کرده بود.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.