آزمون بزرگ ایجنت‌های هوش مصنوعی در کارهای روزمره؛ رقابت چت‌جی‌پی‌تی، جمینای و متا

ایده ایجنت‌های هوش مصنوعی (AI Agents) از همان ابتدا با تردیدهای زیادی روبه‌رو بوده است. در گذشته، این ابزارها با وجود تبلیغات پر سر و صدا، عملکرد ناامیدکننده‌ای داشتند و هنگام انجام ساده‌ترین کارهای وب، اعتبار مالی کاربر را هدر می‌دادند. اما با موج جدید ابزارهای هوش مصنوعی و هیاهوی فراوان پیرامون ایجنت‌های نسل تازه، زمان آن رسیده است که فرصت دیگری به آن‌ها داده شود. در این بررسی میدانی، سه مدعی اصلی دنیای ایجنت‌ها یعنی Dots در چت‌جی‌پی‌تی، Spark در جمینای و Muse از شرکت متا، در مجموعه‌ای از کارهای روزمره مانند رزرو میز شام تا بررسی و پاکسازی هزاران ایمیل، محک زده شده‌اند تا عیار واقعی آن‌ها سنجیده شود.

آشنایی با رقبا: قیمت‌گذاری، قابلیت‌ها و شیوه عملکرد

در حالی که چت‌بات‌های هوش مصنوعی بیشتر روی پاسخ‌گویی به سؤالات، دریافت پرامپت و جست‌وجو در وب متمرکز هستند، ایجنت‌های هوش مصنوعی با هدف انجام واقعی کارها برای کاربر طراحی شده‌اند. دو ایجنت Dots و Muse به برنامه‌های شخص ثالث متصل می‌شوند و با هدایت یک مرورگر مجازی، دستورات کاربر را اجرا می‌کنند. در مقابل، Spark نیز از یکپارچه‌سازی با سرویس‌ها پشتیبانی می‌کند، اما به‌جای استفاده از مرورگر مجازی، کنترل مستقیم نرم‌افزار گوگل کروم (Google Chrome) کاربر را در دست می‌گیرد.

قابلیت ایجنت چت‌جی‌پی‌تی با نام Dots مستقیماً در محیط این چت‌بات در دسترس است، اما در حال حاضر تنها به مشترکان پلن‌های سازمانی، بیزنس و پرو (Pro با شروع قیمت از ۱۰۰ دلار در ماه) اختصاص دارد. انتظار می‌رود این ویژگی در آینده برای پلن‌های ارزان‌تر نیز عرضه شود؛ با این حال از آنجا که هر ایجنت Dot از مدل پرچمدار کنونی اوپن‌ای‌آی یعنی GPT-6 Astra قدرت می‌گیرد و از سهمیه پیام‌های استاندارد کاربر کم نمی‌کند، به احتمال زیاد در پلن‌های ارزان‌تر با محدودیت‌های مصرفی سخت‌گیرانه‌تری همراه خواهد بود.

ایجنت Spark نیز در رابط کاربری همیشگی جمینای در دسترس قرار دارد و کاربران پلن‌های AI Pro (با قیمت ۲۰ دلار در ماه) و AI Ultra (با شروع قیمت از ۱۰۰ دلار در ماه) می‌توانند از آن استفاده کنند.

ایجنت Muse متا برای تمامی دارندگان حساب کاربری متا به‌صورت کاملاً رایگان قابل استفاده است؛ هرچند این شرکت اشتراک‌های پولی اختیاری (با شروع قیمت از ۲۰ دلار در ماه) را نیز برای دسترسی به حجم استفاده بیشتر ارائه می‌دهد.

با وجود اینکه این سه سرویس از نظر قیمت‌گذاری، مدل‌های زیربنایی و سازوکار اجرایی تفاوت‌هایی با یکدیگر دارند، اما هدف نهایی همگی یکسان است. بنابراین، در این آزمون وظایف کاملاً مشابهی به هر سه ایجنت محول شد؛ وظایفی که بر فعالیت‌های روزمره و مشترک بیشتر کاربران تمرکز دارند.

آزمون اول: خرید از اینستاکارت؛ موفقیت Dots و قفل شدن Spark

در گام نخست، از ایجنت‌ها خواسته شد تا دستور پخت ریزوتوی بدون نیاز به هم‌زدن از سرآشپز جی. کنجی لوپز-آلت را پیدا کنند، بهترین نمونه‌های موجود از مواد اولیه لازم را در فروشگاه محلی وگمنز (Wegmans) بررسی کرده و در نهایت آن‌ها را به سبد خرید حساب کاربری اینستاکارت (Instacart) اضافه کنند.

چت‌جی‌پی‌تی در این بخش عملکرد فوق‌العاده‌ای داشت. پس از اتصال حساب کاربری اینستاکارت به چت‌جی‌پی‌تی، ایجنت Dot به‌خوبی دستور پخت را پیدا کرد، مواد لازم را به درستی تطبیق داد و همه آن‌ها را بدون کوچک‌ترین مشکلی به سبد خرید افزود.

ایجنت Muse نیز در نهایت کار را به پایان رساند، اما این فرآیند زمان زیادی برد. به‌عنوان نمونه، از آنجا که این ایجنت اتصال داخلی به اینستاکارت ندارد، از کاربر خواست نام کاربری و رمز عبور خود را درون مرورگر مجازی وارد کند و سپس کد تأیید دومرحله‌ای ارسال‌شده به ایمیل نیز وارد شود. علاوه بر این، Muse مقداری رشته زعفران را هم به سفارش اضافه کرد؛ قلم کالایی گران‌قیمت که اصلاً در دستور پخت اصلی وجود نداشت.

در این میان، ایجنت Spark نتوانست آزمون را با موفقیت تمام کند. این ایجنت اگرچه دستور پخت را پیدا کرد و مواد اولیه را پیشنهاد داد، اما در دسترسی به حساب کاربری ناتوان ماند. Spark پس از تلاش برای به دست گرفتن کنترل مرورگر کروم، به‌طور کامل قفل کرد و حتی اتصال مجدد اینستاکارت از طریق صفحه برنامه‌های متصل در جمینای نیز مشکل را حل نکرد.

آزمون دوم: جست‌وجوی فرصت شغلی؛ تنها یک ایجنت آگهی‌های واقعی پیدا کرد

در آزمون بعدی، از ایجنت‌ها خواسته شد تا با توجه به سوابق کاری، فرصت‌های شغلی مناسبی پیدا کنند. برای این کار، حساب جیمیل به هر سه ایجنت متصل و اعلام شد که فایل رزومه در ایمیل‌ها موجود است. هر سه ابزار موفق شدند به رزومه دسترسی پیدا کنند و پیشنهادهایی ارائه دهند، اما کیفیت نتایج با یکدیگر فاصله بسیار زیادی داشت.

ایجنت Dots در چت‌جی‌پی‌تی فرصت‌های شغلی کاملاً مرتبطی مانند موقعیت دبیری بخش نرم‌افزار در CNET را پیدا کرد و لینک مستقیم آگهی‌های استخدام را در اختیار کاربر گذاشت. اما عملکرد Muse و Spark اصلاً رضایت‌بخش نبود؛ هر دو ایجنت به‌جای نمایش آگهی‌های مشخص، صرفاً به صفحات کلی سایت‌های کاریابی لینک دادند یا موقعیت‌های منقضی‌شده را پیشنهاد کردند. در این میان، توصیه‌های Spark به‌ویژه مبهم و ناکارآمد بود و صرفاً به کاربر پیشنهاد می‌کرد به دنبال عناوینی مانند «نویسنده ارشد حوزه فناوری» بگردد.

آزمون سوم: استخراج اطلاعات از دانشنامه‌ها و ساخت جدول؛ تساوی هر سه رقیب

در بیشتر موارد می‌توان با یک پرامپت ساده از چت‌بات‌های هوش مصنوعی خواست درباره موضوعی تحقیق کنند یا اطلاعات خاصی را بیابند. با این حال چت‌بات‌های معمولی به دلیل محدودیت‌های فنی نمی‌توانند به تمام وب‌سایت‌های اینترنت دسترسی مطمئن داشته باشند. برای مثال در پروژه‌هایی مانند ساخت ماشین‌حساب بازی Warframe، مدل‌های زبانی معمولی به دلیل دسترسی نداشتن به اطلاعات ویکی رسمی بازی به بن‌بست می‌خورند. اینجاست که ایجنت‌های هوش مصنوعی به دلیل برخورداری از دسترسی مستقیم به مرورگر وب، گزینه‌های بهتری برای چنین جست‌وجوهایی هستند.

برای ارزیابی این قابلیت، از ایجنت‌ها خواسته شد تا با مراجعه به ویکی رسمی بازی Warframe، ۱۰ شخصیت معرفی‌شده اخیر بازی را پیدا کنند، مشخص سازند قطعات آن‌ها کجا یافت می‌شود و چه مراحلی برای کسب این قطعات بهتر است؛ در نهایت نیز خواسته شد این داده‌ها درون یک جدول (Spreadsheet) ساختاریافته مرتب شوند. هر سه ایجنت این وظیفه را با آسانی پشت سر گذاشتند و اطلاعات را شفاف و دقیق ارائه کردند.

آزمون چهارم: رزرو میز رستوران؛ موفقیت Dots و توهم سایر ایجنت‌ها

انتخاب رستوران مناسب معمولاً فرآیندی وقت‌گیر است؛ از همین رو از ایجنت‌ها خواسته شد یک رستوران آسیایی باکیفیت در منطقه مورد نظر پیدا کنند که برای ساعت ۱۸ همان روز میز خالی داشته باشد. چت‌جی‌پی‌تی این مأموریت را بی‌نقص به انجام رساند؛ این ایجنت رستورانی خوش‌نام در همان حوالی پیدا کرد که برای ساعت ۱۸:۱۵ (نزدیک‌ترین زمان در دسترس) جا داشت. در مقابل، Muse هیچ رستورانی را انتخاب نکرد؛ بلکه سه گزینه پیشنهاد داد که هیچ‌کدام اساساً امکان رزرو نداشتند و پس از آن هم از کاربر خواست وارد حساب OpenTable شود که در این شرایط اقدامی بی‌معنی بود. ایجنت Spark نیز به‌جای انتخاب یک گزینه مشخص طبق دستور داده‌شده، صرفاً فهرستی از رستوران‌ها را تحویل داد که دو مورد از آن‌ها هم رزرو نمی‌پذیرفتند.

آزمون پنجم: پاکسازی اینباکس؛ موشکافی Dots و درجا زدن رقبا

هر چقدر هم اشتراک ایمیل‌های تبلیغاتی را لغو کنید، رهایی کامل از رگبار پیام‌های ناخواسته در اینباکس تقریباً ناممکن است. به همین دلیل از ایجنت‌ها خواسته شد ایمیل‌های ورودی را بررسی کنند، فرستنده‌های تبلیغاتی مناسب برای لغو اشتراک را شناسایی کرده و خودشان اشتراک آن‌ها را لغو نمایند.

ایجنت Dots در چت‌جی‌پی‌تی در این بخش بسیار تحسین‌برانگیز ظاهر شد و هر جا نیاز بود لینک‌های لغو عضویت را در سایت‌های شخص ثالث دنبال کند، مرورگر خود را به کار انداخت. علاوه بر این، Dot ایمیل‌های تبلیغاتی بیش از ۱۵ سال گذشته را کاوش کرد، جدولی حجیم با بیش از ۷۰۰ فرستنده ساخت و سپس آن را به اولویت‌دارترین گزینه‌ها برای لغو اشتراک کاهش داد.

در طرف دیگر، Muse در موقعیت‌های لازم از مرورگر خود برای باز کردن لینک‌های لغو عضویت استفاده نکرد و Spark نیز نتوانست خودش اشتراک هیچ ایمیلی را لغو کند؛ در عوض صرفاً لینک‌های لغو اشتراک را پیش روی کاربر قرار داد تا خودش به‌صورت دستی این کار را انجام دهد.

پیروزی مقتدرانه Dots چت‌جی‌پی‌تی؛ اما آیا ارزش ۱۰۰ دلار را دارد؟

ایجنت Dots در چت‌جی‌پی‌تی در تمام طول آزمون بهترین و پایدارترین عملکرد را به نمایش گذاشت؛ موضوعی که با توجه به تکیه آن بر مدل فوق‌العاده توانمند GPT-6 Astra چندان غافلگیرکننده نیست. با این حال استفاده از این ابزار مستلزم پرداخت هزینه اشتراک ماهانه پلن پرو (۱۰۰ دلار در ماه) یا نسخه‌های بالاتر است. خرید چنین اشتراک گرانی صرفاً برای دسترسی به این ایجنت منطقی به نظر نمی‌رسد، مگر آنکه حجم انبوهی از وظایف تکراری آنلاین داشته باشید که برای خودکارسازی با ایجنت‌های هوش مصنوعی کاملاً مهیا باشند.

البته Dots هم خالی از نقص نیست. سرعت عمل این ابزار هنوز چندان بالا نیست، هرچند مانند ایجنت‌های نسل گذشته کند و عذاب‌آور هم عمل نمی‌کند. همچنین این ابزار همچنان قادر به اجرای بی‌عیب و نقص تمامی وظایف نیست؛ به‌عنوان مثال، با اینکه در لغو اشتراک ایمیل‌ها عملکرد بهتری از رقبایش داشت، اما نتوانست اشتراک همه فرستنده‌ها را از طریق مرورگر لغو کند. علاوه بر این، توانایی آن در جست‌وجوی فرصت‌های شغلی نمی‌تواند نیاز به بررسی‌های شخصی کاربر را کاملاً برطرف کند؛ زیرا این ایجنت هنوز توانایی بررسی تک‌تک کلیدواژه‌ها، مرور صفحات بی‌پایان نتایج و ارزیابی دقیق هر آگهی استخدامی را با کیفیتی معادل بررسی موشکافانه یک انسان ندارد.

علاوه بر این، شاید برخی کاربران ترجیح دهند از سایر گزینه‌های مورد بررسی استفاده کنند. به‌عنوان مثال، اگر کاربر مداوم سرویس‌های گوگل باشید، توانایی Spark در بهره‌گیری از قابلیت هوش شخصی (Personal Intelligence) در جمینای می‌تواند مزیت بزرگی باشد. در آزمایش جست‌وجوی کار، چت‌جی‌پی‌تی و Muse به نسخه قدیمی‌تر رزومه در اینباکس ایمیل تکیه کردند؛ اما Spark با دسترسی خودکار به گوگل درایو (Google Drive) موفق شد جدیدترین نسخه رزومه ذخیره‌شده را بیابد و از آن استفاده کند. همچنین Spark در بیشتر سناریوها به‌مراتب سریع‌تر از چت‌جی‌پی‌تی یا Muse عمل می‌کند، حتی اگر برای رسیدن به نتیجه دلخواه نیاز به ارسال چند پرامپت متوالی داشته باشید.

اگر تمایلی به پرداخت هزینه سنگین برای Dots ندارید و در اکوسیستم گوگل نیز فعال نیستید، ایجنت Muse متا نقاط قوت خاص خود را دارد. این ابزار از بسیاری از ایجنت‌های قدیمی عملکرد بهتری ارائه می‌دهد و استفاده از آن کاملاً رایگان است. اجرای تمام آزمون‌های یادشده بدون پرداخت حتی یک دلار در Muse میسر بود؛ بنابراین این سرویس بهترین راهکار برای درک پتانسیل ایجنت‌های هوش مصنوعی بدون صرف هزینه به شمار می‌رود.

جمع‌بندی: هیاهوی تبلیغاتی ضعف‌های فنی را نمی‌پوشاند

با وجود اینکه عملکرد ایجنت‌های هوش مصنوعی در مقایسه با سال گذشته پیشرفت ملموسی داشته است، اما این ابزارها هنوز تا تبدیل شدن به نیازی ضروری در زندگی روزمره فاصله زیادی دارند. حتی در سناریوهایی که کارکرد موفقی دارند، اغلب می‌توان با یک پرامپت ساده در چت‌بات‌ها یا صرف چند دقیقه وقت، به نتایجی مشابه یا حتی بهتر دست یافت. تجربه کاربران بسته به نوع کاربری متفاوت خواهد بود، اما در حال حاضر صرف‌نظر از هیاهوی گسترده تبلیغاتی شرکت‌ها، غفلت از این ایجنت‌ها ضرری به‌همراه نخواهد داشت و نیاز به عجله برای پرداخت هزینه‌های گزاف آن‌ها نیست.