کنترل کامل آیفون توسط مدل‌های هوش مصنوعی با یک تراشه ۷ دلاری و بدون نیاز به جیلبریک

کنترل آیفون توسط مدل‌های بینایی با یک برد ۷ دلاری ESP32

پروژه متن‌باز و جذاب esp32-iphone-agent که تحت مجوز MIT عرضه شده، به مدل‌های بینایی هوش مصنوعی (سازگار با APIهای OpenAI) اجازه می‌دهد یک آیفون معمولی و دست‌نخورده را هدایت کنند. در این معماری، یک برد ارزان‌قیمت Seeed Studio XIAO ESP32-S3 نقش ماوس و کیبورد USB را ایفا می‌کند و هم‌زمان قابلیت AirPlay تصویر نمایشگر آیفون را برای تحلیل بصری زنده به کامپیوتر میزبان می‌فرستد.

این طراحی نیاز به نرم‌افزار Xcode، اپلیکیشن‌های کمکی نیازمند امضای دیجیتال، حساب توسعه‌دهنده اپل و حتی جیلبریک کردن دستگاه را کاملاً کنار زده است. البته همچنان به یک سیستم لینوکس یا مک نیاز دارید تا استریم تصویر AirPlay را دریافت کند، سرور ایجنت را بالا بیاورد و از طریق شبکه محلی با ESP32 در ارتباط باشد. نسخه آزمایشی توسعه‌دهنده این پروژه به شکل محلی و به کمک یک مدل بینایی مستقر روی دو سرور NVIDIA DGX اجرا شده است.

دور زدن کامل SDK و محدودیت‌های اپل

روش‌های سنتی خودکارسازی کار‌های آیفون معمولاً به ابزار‌هایی مانند XCTest یا WebDriverAgent وابسته هستند. این ابزار‌ها عموماً به مک، نرم‌افزار Xcode، امضای کد و نصب یک برنامه روی گوشی نیاز دارند؛ ضمن اینکه گواهی‌های توسعه رایگان اپل هم بعد از هفت روز باطل می‌شوند و دردسرساز هستند.

اما این پروژه سراغ قابلیت‌های بومی و از پیش‌موجود خود iOS رفته است: قابلیت اشتراک صفحه AirPlay، پشتیبانی از دستگاه‌های ورودی استاندارد USB (HID) و نشانگر AssistiveTouch. در این حالت گوشی کاملاً دست‌نخورده باقی می‌ماند و ایجنت هوش مصنوعی حتی می‌تواند اپ‌ها و بازی‌هایی را که کم‌ترین داده دسترسی‌پذیری به سیستم نمی‌دهند، بدون مشکل کنترل کند.

البته کنترل مبتنی بر پیکسل و تصویر، هیچ شناسه معنایی یا مختصات تضمین‌شده‌ای در اختیارتان نمی‌گذارد؛ بنابراین موفقیت هر اقدام به قدرت بینایی مدل، دقت در پیدا کردن موقعیت دکمه‌ها و تغییر نکردن ظاهر رابط کاربری بین لحظه اسکرین‌شات تا اعمال فرمان بستگی دارد.

چشم‌ها، دست‌ها و اتاق فرمان ایجنت

در این ساختار، رایانه میزبان عهده‌دار ضبط صفحه، استنتاج مدل، انتخاب اقدام بعدی و رفع خطاها است. گوشی آیفون فقط رابط کاربری را به نمایش می‌گذارد و میکروکنترلر کوچک هم دستورات فشرده شبکه را به ورودی‌های ماوس و کیبورد فیزیکی تبدیل می‌کند.

• دریافت تصویر صفحه (چشم‌ها): آیفون تصویر خود را از طریق AirPlay به ابزار UxPlay منتقل می‌کند. در ادامه یک پایپ‌لاین GStreamer این استریم را به فریم‌های JPEG تبدیل می‌نماید تا در اختیار مدل هوش مصنوعی و داشبورد وب قرار گیرد.
• ورودی فیزیکی (دست‌ها): برد ESP32-S3 در سیستم‌عامل iOS مثل یک ماوس و کیبورد استاندارد USB ظاهر می‌شود. با فعال بودن AssistiveTouch، هر کلیک ماوس به لمس صفحه (تپ)، حرکت نشانگر به کشیدن (درگ) و اسکرول کردن به سوایپ تبدیل می‌شود.