آزمایش میدانی ایجنت‌های اوپنای‌آی و متا؛ برنامه‌ریزانی ماهر که هنوز آماده پرداخت پول و خرید نیستند

در نبردی جذاب میان بات‌ها، دو مورد از تازه‌ترین ایجنت‌های هوش مصنوعی شخصی، یعنی Dots متعلق به اوپنای‌آی و Muse متعلق به متا، در شرایطی واقعی محک زده شدند؛ رویدادی که فینال مسابقات بسکتبال زنان آمریکا (WNBA) بستر تجربی و طبیعی ایده‌آلی برای ارزیابی آن فراهم کرد.

چرا این موضوع اهمیت دارد: غول‌های هوش مصنوعی در رقابتی تنگاتنگ تلاش می‌کنند دستیار دیجیتالی جامعی بسازند که کاربران برای تمام امور، از خرید روزمره گرفته تا برنامه‌ریزی سفر، به آن تکیه کنند. با این حال، هنوز میان آنچه این ایجنت‌ها توانایی انجام دادنش را دارند و آنچه کاربران با خیالی آسوده به آن‌ها واگذار می‌کنند، فاصله‌ای معنادار وجود دارد.

• این دستیارها باید از آزمونی عبور کنند که می‌توان آن را «معیار انسانی» (The Human Benchmark) نامید؛ به این معنا که آیا آن‌ها می‌توانند کاری را به‌سرعت یا به کیفیت یک انسان انجام دهند؟ پاسخ کوتاه این است: هنوز نه کاملاً، اما پیشرفت‌ها و توانمندی‌های کنونی آن‌ها واقعاً تحسین‌برانگیز است.

تصویر کلان: در این سناریوی آزمایشی، از هر دستیار خواسته شد تا برنامه‌ریزی یک سفر تفریحی به آتلانتا برای تماشای بازی تیم گلدن استیت والکریز (Golden State Valkyries)، هماهنگی یک مهمانی صبحانه-ناهار (برانچ) با تم بنفش برای تماشای مسابقه و طراحی دفترچه‌های یادگاری را بر عهده بگیرد.

• همچنین از هر دو مدل خواسته شد در خرید اقلام هواداری والکریز کمک کنند؛ فرآیندی که در ادامه به یک مأموریت جانبی برای خرید کارت‌های کلکسیونی بسکتبال WNBA تبدیل شد.

هزینه‌ها: استفاده از Muse برای بیشتر امکانات رایگان است و اشتراک‌های ماهانه اختیاری ۲۰ دلاری و ۱۰۰ دلاری نیز برای آن وجود دارد. در سوی دیگر، دسترسی به Dots نیازمند اشتراک ChatGPT Pro با هزینه ماهانه از ۱۰۰ دلار به بالا، یا دسترسی سازمانی و شرکتی است.

نقاط قوت ایجنت‌ها: هر دو ایجنت در مدیریت دستورات پیچیده و چندمرحله‌ای عملکردی شگفت‌آور و فراتر از انتظار نشان دادند.

• هنگام درخواست یافتن پروازها و بلیت‌های بازی سوم در آتلانتا، هر دو مدل متوجه شدند زمان برگزاری بازی یک روز جلو افتاده و بلیت‌ها هنوز برای عموم عرضه نشده‌اند. صندلی‌های موجود صرفاً در بازار واسطه‌گری و با قیمت‌های نجومی فروخته می‌شدند.
• هر دو دستیار گزینه‌های پروازی مناسبی پیدا کردند. مدل Muse یک مرورگر وب باز کرد تا کاربر بتواند اطلاعات خود را برای ثبت‌نام در پیش‌فروش بلیت وارد کند.
• در این میان، Dots با بررسی یادداشت‌های کاربر درباره انتخاب دبیرستان مناسب در سان‌فرانسیسکو، متوجه تداخل زمانی سفر با یک نمایشگاه ثبت‌نام شد و بلافاصله هشدار داد.

خلاقیت در کنار کاستی‌ها: هر دو ایجنت توانستند دستورات کلی را به خروجی‌هایی مفصل و با جزئیات فراوان تبدیل کنند؛ هرچند هیچ‌کدام هنوز آماده نیستند جای یک ویراستار انسانی را پر کنند.

• برای مهمانی با تم بنفش، مدل Muse یک کتابچه دستور پخت ۱۰ صفحه‌ای با تصاویر رنگارنگ از وافل‌های سیب‌زمینی بنفش و کره عسل و اسطوخودوس آماده کرد. در مقابل، Dots مجموعه‌ای کاربردی‌تر در ۸ صفحه با دستورالعمل‌های دقیق پخت‌وپز و در نظر گرفتن رژیم‌های غذایی خاص تحویل داد.
• در فهرست خرید Muse تعداد ۱۲ تخم‌مرغ درج شده بود، در شرایطی که دستورهای پخت به ۱۳ تخم‌مرغ نیاز داشتند! همچنین دعوت‌نامه‌های طراحی‌شده توسط هر دو ایجنت پیش از ارسال، به بازبینی‌های زبانی و زیبایی‌شناختی نیاز داشتند.
• منوهای ارائه‌شده بسیار پیچیده‌تر از پذیرایی ساده معمول در جمع‌های تماشای مسابقه بسکتبال بود؛ دورهمی‌هایی که معمولاً با چند دونات روکش‌دار بنفش سر و ته آن‌ها هم می‌آید.

آزمونی دیگر برای سنجش خلاقیت: در تستی دیگر، از هر دو ایجنت خواسته شد یک دفترچه یادگاری برای فینال WNBA به سبک دهه ۱۹۸۰ میلادی طراحی کنند و سپس عکس‌های بازی اول را به یک یادبود تصویری تبدیل نمایند.

• دفترچه کلاسیک ۳۸ صفحه‌ای Dots به لطف تصاویر بازیکنان، طرح‌های گرافیکی و داده‌های آماری پرشمار، از منظر بصری گیراتر بود. نسخه ۳۵ صفحه‌ای Muse زیبایی کمتری داشت، اما المان‌های سرگرم‌کننده‌ای نظیر یک تبلیغ ساختگی برای رایانه‌های قدیمی و آگهی دورهمی فرضی کاربر را چاشنی کار کرده بود.
• هر دو برنامه آمارهای نادرست و غیرقابل اتکایی ارائه کردند؛ هرچند Muse کمی بعد و به‌صورت خودکار، به‌روزرسانی جدیدی برای اصلاح خطاهای آماری فرستاد.
• در تبدیل عکس‌ها به آلبوم یادگاری، Dots نسخه ۱۲ صفحه‌ای را ظرف تنها ۴۷ ثانیه آماده کرد، اما Muse زمان بسیار بیشتری صرف نمود؛ هرچند Muse صفحه‌آرایی جذابی برای بازتاب نسل‌های مختلف هواداران تیم پیشنهاد داد.

نقطه ضعف اصلی؛ اجرای واقعی کارها: بزرگ‌ترین چالش این دو مدل زمانی آشکار شد که پای اقدام عملی به میان آمد. پس از بررسی گزینه‌های گوناگون برای خرید نمادهای هواداری والکریز، خرید کارت‌های کلکسیونی بسکتبال WNBA به‌عنوان هدف نهایی انتخاب شد.

• هر دو دستیار در مقایسه گزینه‌ها و قیمت‌ها کارآمد ظاهر شدند. سرانجام فروشگاه تارگت (Target) با تخفیف ۵ درصدی کارت اعتباری و ارسال رایگان برگزیده شد.
• مدل Muse تلاش کرد تا خرید را تا انتها پیش ببرد، اما در مرحله ورود به حساب کاربری تارگت متوقف شد. در مقابل، Dots کاربر را مستقیماً به اپلیکیشن تارگت هدایت کرد که اطلاعات حساب و کارت بانکی از قبل در آن ذخیره شده بود.
• اگرچه هر دو سرویس از فرآیند خرید خودکار با تأیید نهایی کاربر پشتیبانی می‌کنند، اما رویکرد محتاطانه‌تر و کمتر خودکار Dots در عمل بسیار سریع‌تر به نتیجه رسید.

چالش اعتماد: اگر مجوز دسترسی عمیق‌تر به حساب‌های شخصی و کیف پول صادر می‌شد، هر دو ایجنت ظرفیت انجام کارهای بیشتری را داشتند. با این وجود، سپردن خریدهای چند صد یا چند هزار دلاری به هوش مصنوعی یا اعتماد به آن‌ها در تصمیم‌گیری‌های حساس، مرزی است که کاربران هنوز تمایلی به عبور از آن ندارند.

جمع‌بندی: در حال حاضر، کارکرد ایده‌آل ایجنت‌های هوش مصنوعی جست‌وجو، مقایسه و انجام کارهای مقدماتی است؛ اما تصمیم نهایی و کلیک برای پرداخت پول، همچنان باید در اختیار انسان باقی بماند.

• پی‌نوشت: سفر به آتلانتا و برپایی مهمانی به دلیل تداخل برنامه‌ها میسر نشد، اما این آزمایش با خرید سه بسته کارت کلکسیونی WNBA به پایان رسید؛ خریدی که البته برای اهداف پژوهشی انجام شد!