تحول در ارزیابی مدل‌های هوش مصنوعی با فریم‌ورک DSPy استنفورد؛ افزایش ۶ درصدی امتیازات و جابه‌جایی رتبه‌بندی‌ها
پژوهش جدید دانشگاه استنفورد نشان می‌دهد که ترکیب فریم‌ورک DSPy با بنچمارک HELM و جایگزینی پرامپت‌های ثابت با پرامپت‌های ساختاریافته، دقت مدل‌های زبانی را به‌طور میانگین ۶ درصد افزایش داده و جایگاه مدل‌ها را در ۵ آزمون از ۷ بنچمارک تغییر می‌دهد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- یافته‌های جدید پژوهشگران دانشگاه استنفورد نشان می‌دهد که امتیازات بنچمارک‌های فعلی علاوه بر توانمندی واقعی مدل‌ها، میزان سازگاری آن‌ها با یک پرامپت ثابت را می‌سنجند.
- جایگزینی پرامپت‌های استاندارد بنچمارک HELM با روش‌های ساختاریافته در فریم‌ورک DSPy، عملکرد مدل‌ها را به‌طور میانگین ۶ درصد بهبود داده و رتبه‌بندی ۵ بنچمارک از ۷ مورد را دگرگون کرده است.
- این روش جدید به تیم‌های فنی کمک می‌کند تا پیش از انتخاب نهایی مدل برای محیط‌های عملیاتی و حساس مانند پزشکی، ظرفیت واقعی هر مدل را بدون سوگیری ناشی از نحوه نگارش پرامپت ارزیابی کنند.
پژوهش جدید دانشگاه استنفورد نشان می‌دهد که امتیازات بنچمارک‌ها، هم‌زمان دو فاکتور «توانمندی واقعی مدل» و «میزان سازگاری آن با یک پرامپت ارزیابی ثابت» را می‌سنجند. جایگزینی پرامپت استاندارد بنچمارک HELM با مجموعه‌ای کوچک از روش‌های پرامپت‌نویسی ساختاریافته، به‌طور میانگین باعث افزایش ۶ درصدی عملکرد مدل‌ها شد و رتبه‌بندی آن‌ها را در پنج مورد از هفت بنچمارک تغییر داد.
این مقاله پژوهشی، فریم‌ورک پرامپت‌نویسی اعلانی استنفورد با نام DSPy را با مجموعه ارزیابی HELM (متعلق به مرکز پژوهش مدل‌های بنیادین) یکپارچه کرده است. پژوهشگران این پروژه چهار مدل زبانی پیشرو و دو مدل متن‌باز را در وظایف عمومی و پزشکی آزمایش کردند و سپس نتایج حاصل از پرامپت‌های ساختاریافته را با امتیازات پایه فعلی در بنچمارک HELM مقایسه نمودند.
یک پرامپت واحد می‌تواند کفه ترازو را به نفع مدلی خاص سنگین کند
مجموعه ارزیابی HELM (مخفف ارزیابی جامع مدل‌های زبانی) معمولاً هر مدل را با یک پیکربندی پرامپت ثابت و یکسان اجرا می‌کند. از آنجا که رفتار مدل به‌شدت به دستورالعمل‌ها، قالب‌بندی، نمونه‌های ارائه‌شده و درخواست برای استدلال میانی وابسته است، استفاده از یک پرامپت مشترک می‌تواند به نفع مدل‌هایی تمام شود که داده‌های آموزشی آن‌ها تطابق بیشتری با ادبیات و ساختار آن پرامپت دارد.
این حساسیت بالا، مقایسه مدل‌ها در جدول‌های رده‌بندی را پیچیده می‌کند. کسب امتیاز پایین‌تر ممکن است ناشی از عملکرد ضعیف‌تر در انجام وظیفه، ناسازگاری با ساختار پرامپت یا ترکیبی از هر دو باشد. به همین دلیل، تیم‌هایی که قصد انتخاب مدل برای محیط‌های عملیاتی را دارند، ممکن است پیش از آزمودن قالب‌های پرامپت سازگار با یک مدل توانمند، آن را دست‌کم بگیرند؛ این مسئله به‌ویژه در بنچمارک‌های پزشکی که تغییرات کوچک در رتبه‌بندی می‌تواند بر تصمیمات اعتبارسنجی و خرید اثر بگذارد، اهمیت دوچندانی دارد.
درون پل ارتباطی HELM و DSPy چه می‌گذرد؟
فریم‌ورک DSPy گردش‌کار پرامپت‌نویسی را به‌صورت یک برنامه با ورودی‌ها و خروجی‌های مشخص تعریف می‌کند. ماژول‌هایی مانند Predict و ChainOfThought این تعاریف را به دستورالعمل‌های قابل فهم برای مدل تبدیل می‌کنند و در همین حین، بهینه‌سازها می‌توانند بهترین جمله‌بندی دستورالعمل و نمونه‌های آموزشی (Few-shot) را جستجو و انتخاب کنند.
این یکپارچه‌سازی با دستورالعمل پایه وظیفه در HELM آغاز می‌شود، سپس نسخه‌های ساختاریافته متنوعی را از طریق فریم‌ورک DSPy تولید می‌کند و در نهایت هر نسخه را دوباره به خط لوله ارزیابی HELM می‌فرستد. این رویکرد ضمن حفظ منطق اصلی بنچمارک HELM، استراتژی پرامپت‌نویسی را به شکلی استاندارد و تکرارپذیر تنوع می‌بخشد.
مطالب مرتبط و پیشنهادی
مدل بینایی EfficientViT-L2؛ کاهش چشمگیر هزینه پردازش تصاویر با وضوح بالا در هوش مصنوعی
آزمایشگاه Han در دانشگاه MIT با ارائه مدل بینایی EfficientViT-L2، راهکاری بهینه برای پردازش تصاویر با وضوح بالا در اختیار توسعه‌دهندگان PyTorch قرار داده است. این معماری با جایگزین کردن مکانیزم توجه خطی به‌جای روش‌های مرسوم، مصرف حافظه و هزینه محاسباتی را به‌شدت کاهش می‌دهد.
رونمایی استارتاپ Thinking Machines از مدل ۵۹۴ میلیارد پارامتری Inkling 2 Small برای ساخت ایجنت‌ها
آزمایشگاه Thinking Machines از مدل جدید Inkling 2 Small با ۵۹۴ میلیارد پارامتر کل و ۱۷ میلیارد پارامتر فعال رونمایی کرد. این مدل چندوجهی به‌طور ویژه برای ساخت ایجنت‌های هوشمند، کدنویسی و شخصی‌سازی عمیق طراحی شده است و پس از پایان تست‌های امنیتی به‌صورت متن‌باز منتشر خواهد شد.
فین‌تک کانادایی Wealthsimple از Penny رونمایی کرد؛ دستیار هوش مصنوعی برای مدیریت مالی و معاملات بورس
شرکت فین‌تک کانادایی Wealthsimple از دستیار هوشمند جدیدی به نام Penny رونمایی کرده است که انتقال وجه، پرداخت قبوض و معاملات سهام را با زبان طبیعی مدیریت می‌کند. این دستیار هیچ تراکنشی را بدون تأیید مستقیم کاربر انجام نمی‌دهد و به‌زودی به ChatGPT و Claude نیز متصل خواهد شد.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.