پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

آزمایش ۳ ایجنت هوش مصنوعی در کارهای روزمره؛ رقابتی که تنها یک برنده داشت

انتشار:۲۴ مهر ۱۴۰۵(۱ ساعت پیش)
۸ دقیقه زمان مطالعه
۰ دیدگاه
اشتراک و پسندیدن

در آزمایشی جامع، عملکرد سه ایجنت هوش مصنوعی Dots در چت‌جی‌پی‌تی، Spark در جمینای و Muse در متا در انجام کارهای روزمره مقایسه شد. نتایج نشان می‌دهد که علی‌رغم ادعاهای تبلیغاتی، تنها نماینده اوپن‌ای‌آی توانست از پس وظایف برآید و دو رقیب دیگر با خطاهای متعددی روبه‌رو شدند.

آزمایش ۳ ایجنت هوش مصنوعی در کارهای روزمره؛ رقابتی که تنها یک برنده داشت

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • در ارزیابی سه ایجنت هوش مصنوعی برای انجام کارهای روزمره، ایجنت Dots در چت‌جی‌پی‌تی با تکیه بر مدل GPT-6 Astra با اختلاف بر رقبای خود پیروز شد.
  • ابزارهای Muse از متا و Spark از جمینای در اموری چون خرید آنلاین، رزرو رستوران و لغو اشتراک ایمیل با مشکلاتی مثل توهم و قفل شدن مرورگر مواجه شدند.
  • با وجود کارایی بالای چت‌جی‌پی‌تی، دسترسی به آن نیازمند اشتراک ماهانه ۱۰۰ دلاری است و هنوز هیچ ایجنتی برای کاربران عادی کاملاً ضروری به نظر نمی‌رسد.

نگاه کارشناسان به ایجنت‌های هوش مصنوعی (AI Agents) همواره با چاشنی تردید همراه بوده است. در گذشته، این ابزارها با فاصله‌ای چشمگیر از هیاهوی تبلیغاتی‌شان عقب می‌ماندند؛ در انجام ساده‌ترین وظایف تحت وب شکست می‌خوردند و در این مسیر فقط اعتبارات و هزینه‌های کاربران را هدر می‌دادند. بااین‌حال، با آغاز موج تازه‌ای از انتشار ابزارهای هوشمند و مانورهای تبلیغاتی گسترده غول‌های فناوری، فرصت مناسبی فراهم شد تا این فناوری دوباره به بوته آزمایش گذاشته شود. در این بررسی، سه مدعی اصلی این حوزه یعنی ایجنت Dots در چت‌جی‌پی‌تی (ChatGPT)، ابزار Spark در جمینای (Gemini) و Muse از شرکت متا، در مواجهه با مجموعه‌ای از وظایف روزمره — از رزرو میز شام گرفته تا سامان‌دهی هزاران ایمیل — مورد سنجش قرار گرفتند تا عملکرد واقعی آن‌ها در میدان عمل ارزیابی شود.


معرفی رقبا: قیمت‌گذاری، قابلیت‌ها و شیوه کارکرد

در حالی که تمرکز اصلی چت‌بات‌های هوش مصنوعی بر پاسخ به پرسش‌ها، تعامل متنی و جستجو در وب است، ایجنت‌های هوش مصنوعی مأموریت دارند کارها را به‌طور کامل برای شما به سرانجام برسانند. دو ابزار Dots و Muse هر دو امکان اتصال به برنامه‌های متفرقه را دارند و برای اجرای دستورات، یک مرورگر وب مجازی را هدایت می‌کنند. ابزار Spark نیز از یکپارچه‌سازی با سرویس‌ها پشتیبانی می‌کند، اما به‌جای مرورگر مجازی، کنترل پنجره مرورگر گوگل کروم (Google Chrome) شما را در دست می‌گیرد.

قابلیت ایجنت هوش مصنوعی چت‌جی‌پی‌تی با نام Dots، در رابط کاربری این پلتفرم در دسترس قرار دارد، اما در حال حاضر تنها به مشترکان طرح‌های Pro (با قیمت پایه ۱۰۰ دلار در ماه)، Business و سازمانی (Enterprise) اختصاص یافته است. هرچند انتظار می‌رود Dots در نهایت برای پلن‌های ارزان‌تر نیز عرضه شود، اما با توجه به اینکه هر ایجنت Dot از مدل پرچمدار کنونی اوپن‌ای‌آی یعنی GPT-6 Astra بهره می‌برد و از سهمیه پیام‌های عادی کاربر کم نمی‌کند، پیش‌بینی می‌شود که در سطوح قیمتی پایین‌تر، محدودیت‌هایی در نرخ استفاده یا سقف مصرف برای آن اعمال شود.

ابزار Spark جمینای نیز به شیوه مشابهی در رابط کاربری استاندارد Gemini عرضه شده است و مشترکان دو طرح AI Pro (ماهانه ۲۰ دلار) و AI Ultra (با قیمت پایه ۱۰۰ دلار در ماه) می‌توانند از آن استفاده کنند.

در سوی دیگر، ایجنت Muse شرکت متا تا زمانی که یک حساب کاربری فعال در متا داشته باشید، به‌صورت کاملاً رایگان در دسترس است. البته این شرکت طرح‌های پولی اختیاری (با قیمت پایه ۲۰ دلار در ماه) را نیز ارائه می‌دهد که محدودیت‌های استفاده را برطرف می‌کنند.

اگرچه این سه سرویس از نظر هزینه‌ها، مدل‌های زبانی پایه و شیوه اجرا تفاوت‌هایی با یکدیگر دارند، اما همگی هدفی مشترک را دنبال می‌کنند. از همین رو، وظایف کاملاً یکسانی به آن‌ها محول شد تا عملکردشان در موقعیت‌های واقعی سنجیده شود؛ اموری که بر فعالیت‌های معمول و روزمره بیشتر کاربران تمرکز دارند.


در نخستین گام، از ایجنت‌ها خواسته شد تا دستور پخت ریزوتوی بدون هم‌زدن از جِی. کنجی لوپز-آلت را پیدا کنند، بهترین نمونه‌های موجود از هر ماده اولیه لازم را در سوپرمارکت محلی Wegmans بررسی نمایند و در نهایت آن‌ها را به سبد خرید حساب کاربری اینستاکارت (Instacart) بیفزایند.

چت‌جی‌پی‌تی در این بخش عملکردی درخشان به نمایش گذاشت. پس از اتصال حساب اینستاکارت به چت‌جی‌پی‌تی، ایجنت Dot با دقت تمام دستور پخت را پیدا کرد، مواد مورد نیاز را بررسی نمود و بدون کوچک‌ترین مشکلی همه آن‌ها را به سبد خرید افزود.

لیست مواد اولیه در ایجنت Dot چت‌جی‌پی‌تی

چت‌جی‌پی‌تی دستور پخت را به‌درستی پیدا کرد، مواد لازم را تشخیص داد و به سبد خرید اینستاکارت اضافه نمود.

ایجنت Muse نیز در نهایت مأموریت را انجام داد، اما این کار بسیار زمان‌بر شد. از آنجا که این ابزار هنوز قابلیت یکپارچه‌سازی مستقیم با اینستاکارت را ندارد، کاربر ناچار شد نام کاربری و رمز عبور خود را درون مرورگر مجازی آن وارد کند و سپس کد تأیید ارسال‌شده به ایمیل را نیز ثبت نماید. علاوه بر این، Muse مقداری رشته زعفران را هم به سفارش اضافه کرد؛ ماده‌ای گران‌قیمت که اصلاً در دستور پخت اصلی وجود نداشت.

در این میان، Spark جمینای در انجام این وظیفه ناکام ماند. هرچند این ایجنت دستور غذا و مواد لازم را پیشنهاد داد، اما نتوانست به حساب کاربری متصل شود. Spark هنگام تلاش برای کنترل مرورگر کروم قفل کرد و حتی تلاش برای اتصال اینستاکارت از طریق صفحه برنامه‌های متصل در تنظیمات آن نیز بی‌نتیجه ماند.


وظیفه دوم: جستجوی شغل؛ تنها یک ایجنت آگهی‌های واقعی پیدا کرد

در مرحله بعدی، وظیفه یافتن فرصت‌های شغلی مناسب بر اساس تجارب کاری به ایجنت‌ها محول شد. برای این منظور، حساب جیمیل به هر سه ابزار متصل گردید تا رزومه کاری را از آنجا استخراج کنند. هر سه ایجنت توانستند به رزومه دسترسی پیدا کرده و موقعیت‌هایی را پیشنهاد دهند، اما فاصله کیفی آشکاری میان نتایج آن‌ها دیده می‌شد.

جستجوی شغل در جمینای

پیشنهادهای شغلی ارائه شده توسط ایجنت Spark بسیار کلی و عملاً بلااستفاده بودند.

ایجنت Dot در چت‌جی‌پی‌تی فرصت‌های شغلی کاملاً مرتبطی مانند عنوان ویرایشگر نرم‌افزار در پایگاه CNET را به‌همراه لینک مستقیم آگهی‌ها ارائه داد. عملکرد Muse و Spark اما بسیار ضعیف‌تر بود؛ هر دوی آن‌ها به‌جای معرفی آگهی‌های مستقیم، صرفاً به صفحات دسته‌بندی سایت‌های کاریابی لینک دادند یا موقعیت‌های منقضی‌شده را پیشنهاد کردند. در این میان، پیشنهادهای Spark به‌شدت کلی و بیهوده بود؛ تا جایی که صرفاً توصیه کرد عناوینی مثل «نویسنده ارشد فناوری» در وب جستجو شود.


وظیفه سوم: استخراج اطلاعات از ویکی و ساخت جدول؛ تساوی هر سه مدعی

در اغلب شرایط، می‌توان از یک چت‌بات هوش مصنوعی خواست تا موضوعی را جستجو کند یا اطلاعات خاصی را بیابد. بااین‌حال، چت‌بات‌های متداول به دلیل محدودیت‌های فنی نمی‌توانند به همه وب‌سایت‌های اینترنت دسترسی پایداری داشته باشند؛ برای نمونه در پروژه‌هایی مانند ساخت ماشین‌حساب بازی Warframe، مدل‌های هوش مصنوعی ساده قادر به خواندن داده‌های وب‌سایت رسمی بازی نبودند. در نقطه مقابل، ایجنت‌ها به دلیل توانایی کار با مرورگرهای وب، گزینه‌های به‌مراتب مناسب‌تری برای چنین جستجوهایی به شمار می‌روند.

تولید جدول با ایجنت Muse متا

ایجنت Muse نیز درست مانند سایر رقبا اطلاعات مورد نیاز را استخراج کرد و در قالب جدولی مرتب سامان داد.

برای ارزیابی این قابلیت، از هر سه ایجنت خواسته شد تا ۱۰ شخصیت جدید بازی Warframe را از طریق ویکی رسمی این بازی پیدا کنند، محل دریافت قطعات هر شخصیت را مشخص نمایند و بهترین مأموریت‌ها را برای به‌دست آوردن آن‌ها معرفی کنند؛ همچنین خواسته شد این اطلاعات در قالب یک جدول مرتب (Spreadsheet) تنظیم شود. هر سه ابزار این وظیفه را به‌راحتی و بدون خطا پشت سر گذاشتند و داده‌های مرتبط را به‌صورتی شفاف دسته‌بندی کردند.


وظیفه چهارم: رزرو میز شام؛ درخشش Dots و توهم رقبا

انتخاب رستوران مناسب کار پردردسری است؛ بنابراین از ایجنت‌ها خواسته شد یک رستوران آسیایی باکیفیت در حوالی محل اقامت پیدا کنند که برای ساعت ۶ عصر همان روز میز خالی داشته باشد. چت‌جی‌پی‌تی این مأموریت را بی‌نقص به انجام رساند؛ رستورانی خوش‌نام و نزدیک را پیدا کرد که برای ساعت ۶:۱۵ میز خالی داشت و صراحتاً متذکر شد این نزدیک‌ترین زمان ممکن است. در مقابل، Muse هیچ رستورانی را انتخاب نکرد؛ بلکه سه گزینه پیشنهاد داد که هیچ‌یک امکان رزرو نداشتند، و همین مسئله درخواست بعدی آن مبنی بر ورود به حساب OpenTable را عجیب‌تر جلوه داد. ابزار Spark نیز به‌جای انتخاب یک گزینه مشخص طبق خواسته مطرح‌شده، صرفاً فهرستی از رستوران‌ها ارائه کرد که دو مورد از آن‌ها اساساً سیستم رزرو نداشتند.


وظیفه پنجم: پاکسازی صندوق ایمیل؛ غواصی عمیق Dots و درجا زدن رقبا

صرف‌نظر از اینکه چند بار برای لغو اشتراک خبرنامه‌ها اقدام کنید، فرار از هجوم ایمیل‌های تبلیغاتی تقریباً غیرممکن است. به همین جهت، مأموریت بررسی صندوق ورودی ایمیل، شناسایی فرستندگان تبلیغاتی و لغو خودکار اشتراک آن‌ها به ایجنت‌ها واگذار شد.

در این بخش، ایجنت Dot چت‌جی‌پی‌تی فراتر از انتظار ظاهر شد؛ هر زمان که برای باز کردن لینک‌های لغو اشتراک نیاز به ورود به سایت‌های متفرقه بود، مرورگر وب خود را به کار می‌انداخت. افزون بر این، Dot با کاوش در بیش از ۱۵ سال ایمیل‌های تبلیغاتی، جدولی حجیم از بیش از ۷۰۰ فرستنده تهیه کرد و سپس گزینه‌های اصلی را برای لغو اشتراک برگزید.

لغو اشتراک ایمیل در جمینای

اگر قرار باشد کاربر خودش روی تک‌تک لینک‌ها برای لغو اشتراک کلیک کند، ایجنت عملاً کمکی به حساب نمی‌آید.

در این بین، Muse هنگام نیاز به باز کردن لینک‌های لغو اشتراک از مرورگر خود استفاده نکرد و Spark نیز نتوانست هیچ اشتراکی را مستقلاً لغو کند؛ بلکه صرفاً فهرستی از لینک‌ها را مقابل کاربر گذاشت تا خودش آن‌ها را باز کند.


پیروزی مقتدرانه Dots؛ اما آیا ارزش ۱۰۰ دلار را دارد؟

در تمامی ارزیابی‌ها، ایجنت Dots در چت‌جی‌پی‌تی همواره بهترین عملکرد را ثبت کرد؛ امری که با در نظر گرفتن قدرت فوق‌العاده مدل GPT-6 Astra چندان هم غافلگیرکننده نیست. بااین‌حال، استفاده از آن مشروط به داشتن اشتراک سطح Pro یا بالاتر است. پرداخت چنین هزینه‌ای تنها برای دسترسی به این ابزار توجیه چندانی ندارد، مگر اینکه با انبوهی از کارهای ساده تحت وب روبه‌رو باشید که ظرفیت خودکارسازی با هوش مصنوعی را داشته باشند.

البته Dots نیز بدون نقص نیست؛ برای مثال سرعت چندان بالایی ندارد، هرچند به کندی ایجنت‌های نسل پیشین هم عمل نمی‌کند. همچنین هنوز قادر نیست تمامی وظایف را بی‌عیب و نقص انجام دهد. به‌عنوان نمونه، اگرچه Dots در لغو اشتراک ایمیل‌ها بسیار بهتر از رقبا ظاهر شد، اما همچنان نتوانست برای همه فرستندگان از مرورگر استفاده کند. علاوه بر این، در فرآیند کاریابی نیز نمی‌تواند بار بررسی آگهی‌ها را کاملاً از دوش کاربر بردارد؛ چراکه برای اسکرول‌های مداوم در صفحات نتایج یا تحلیل موشکافانه تک‌تک آگهی‌ها بر اساس تمامی کلیدواژه‌های ترکیبی همانند یک انسان طراحی نشده است.

علاوه بر این، کاربران بسته به نیازهایشان ممکن است یکی از دو گزینه دیگر را ترجیح دهند. به‌عنوان مثال، برای کسانی که از اکوسیستم برنامه‌های گوگل بهره می‌برند، قابلیت اتصال Spark به ویژگی هوش فردی (Personal Intelligence) در جمینای بسیار جذاب است. در فرآیند جستجوی شغل، چت‌جی‌پی‌تی و Muse به نسخه قدیمی‌تر رزومه در صندوق جیمیل اکتفا کردند؛ اما Spark به لطف دسترسی خودکار به گوگل درایو (Google Drive)، توانست جدیدترین نسخه رزومه ذخیره‌شده را بیابد و بر مبنای آن جستجو کند. افزون بر این، سرعت اجرای دستورات در Spark به‌طور محسوسی بالاتر از دو رقیب دیگر است، حتی اگر برای تنظیم دقیق خروجی نیاز به ارسال چند پرامپت متوالی باشد.

برای کسانی که قصد پرداخت هزینه برای Dots را ندارند و در اکوسیستم گوگل هم فعال نیستند، ایجنت Muse از متا مزایای قابل‌توجهی دارد. این ابزار نسبت به بسیاری از ایجنت‌های پیشین توانمندتر است و به‌صورت کاملاً رایگان در دسترس قرار دارد. انجام تمامی وظایف یادشده در این آزمایش بدون خرید پلن غیررایگان Muse میسر شد؛ از این رو بهترین گزینه برای کسانی است که می‌خواهند بدون صرف هزینه با پتانسیل‌های یک ایجنت هوش مصنوعی آشنا شوند.


جمع‌بندی: هیاهوی تبلیغاتی ضعف‌های فنی را نمی‌پوشاند

هرچند عملکرد کنونی ایجنت‌های هوش مصنوعی نسبت به سال گذشته بسیار امیدوارکننده‌تر است، اما این ابزارها هنوز تا تبدیل شدن به نیازی ضروری و روزمره فاصله زیادی دارند. حتی در سناریوهایی که ایجنت‌ها به نتیجه می‌رسند، اغلب می‌توان با نوشتن یک پرامپت ساده برای چت‌بات‌ها یا صرف تنها چند دقیقه کار دستی، به نتایجی مشابه یا حتی دقیق‌تر دست یافت. تجربه کاربری بدون شک به نوع استفاده افراد بستگی دارد؛ اما در مقطع کنونی، صرف‌نظر از حجم تبلیغات سنگین این شرکت‌ها، کاربران عادی چیزی را از دست نداده‌اند و روند تکامل این ابزارها همچنان نیازمند زمان و آزمایش‌های بیشتر است.

بازخورد و اشتراک‌گذاری این مطلب

اگر این گزارش برایتان مفید بود، با پسندیدن و اشتراک‌گذاری آن با دیگران، از محتوای تخصصی هوش مصنوعی حمایت کنید.

اشتراک‌گذاری در شبکه‌های اجتماعی:

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

مدل هوش مصنوعی Jev رکورد سریع‌ترین نرخ پذیرش تاریخ ورسل را شکست
آخرین اخبار

مدل هوش مصنوعی Jev رکورد سریع‌ترین نرخ پذیرش تاریخ ورسل را شکست

داده‌های جدید پلتفرم ورسل نشان می‌دهد مدل تصمیم‌گیری Jev تنها ظرف دو هفته پس از عرضه، به انتخاب ۳۵ درصد از تیم‌های دارای اشتراک تبدیل شده است. این ابزار سبک و سریع با پشت سر گذاشتن مدل‌هایی مانند Sonnet 5.5، رکورد سریع‌ترین نرخ پذیرش تاریخ این پلتفرم را ثبت کرد.

۲ دقیقه مطالعه
۰
۲۴ مهر
پژوهشگران هشدار دادند: مدل‌های هوش مصنوعی آلوده تا ۹۵ درصد از داده‌های حساس را سرقت می‌کنند
آخرین اخبار

پژوهشگران هشدار دادند: مدل‌های هوش مصنوعی آلوده تا ۹۵ درصد از داده‌های حساس را سرقت می‌کنند

پژوهشگران دانشگاه چینهوا نشان دادند سازندگان مدل‌های زبانی وزن‌باز می‌توانند با کاشتن یک بک‌دور پنهان، داده‌های حساس سازمان‌ها را پس از فاین‌تیون سرقت کنند. در این حمله، نفوذگران تنها با ارسال درخواست‌های عادی به API، تا ۹۵ درصد از پرامپت‌های محرمانه آموزشی را بدون دسترسی مستقیم به وزن‌های مدل بازیابی می‌کنند.

۲ دقیقه مطالعه
۰
۲۴ مهر
پرواز ایمن‌تر و چابک‌تر پهپادها در بادهای شدید؛ دستاورد پژوهشگران دانشگاه میشیگان با هوش مصنوعی
آخرین اخبار

پرواز ایمن‌تر و چابک‌تر پهپادها در بادهای شدید؛ دستاورد پژوهشگران دانشگاه میشیگان با هوش مصنوعی

پژوهشگران دانشگاه میشیگان روش جدیدی به نام SI-OCP ابداع کرده‌اند که حاشیه‌های ایمنی بیش‌ازحد محتاطانه را برای پرواز پهپادها در شرایط وزش باد شدید کاهش می‌دهد. این سیستم با ترکیب شبکه‌های عصبی عمیقِ تطبیق‌پذیر و کنترل پیش‌بین، خطاهای حرکتی را به‌صورت آنی بازتنظیم کرده و امکان ناوبری چابک‌تر را بدون به خطر انداختن ایمنی فراهم می‌سازد.

۲ دقیقه مطالعه
۰
۲۴ مهر