ابزار متن‌باز Jevstiller معرفی شد؛ هوش مصنوعی Jev را روی سیستم خودتان و با سرعت برق‌آسا اجرا کنید!

شکی نیست که مدل هوش مصنوعی Jev فوق‌العاده ارزان است و خیلی سریع به درخواست‌ها پاسخ می‌دهد؛ اما نظرتان درباره یک ایده جذاب‌تر چیست؟ چطور است یک مدل سبک و دست‌آموز (دانش‌آموز) روی سیستم خودتان داشته باشید که از رفتارهای Jev درس بگیرد و پرسش‌های آشنا را مستقیماً روی سخت‌افزار شما پردازش کند؟

پروژه متن‌باز Jevstiller دقیقاً با همین هدف ساخته شده است؛ همان‌طور که از نامش پیداست، این ابزار خروجی‌های مدل Jev را تقطیر (Distill) کرده و به یک مدل محلی و جمع‌وجور تبدیل می‌کند. سازندگان Jevstiller می‌گویند با این کار، وظایفی که خود Jev به‌سرعت انجام می‌داد، حتی بسیار سریع‌تر و بهینه‌تر انجام می‌شود؛ بدون این‌که نیاز باشد برای هر یک میلیارد توکن ورودی ۴۲ دلار پول بدهید یا برای پاسخ‌گرفتن از سرور حدود ۳۰۰ میلی‌ثانیه معطل بمانید.

پاسخ‌دادن به درخواست‌ها به‌صورت محلی یعنی دیگر حتی یک سنت هم برای توکن‌های Jev خرج نمی‌کنید و پاسخ‌ها در عرض تنها ۱۵ میلی‌ثانیه مستقیماً توسط پردازنده (CPU) سیستم شما آماده می‌شوند. مدلی که Jevstiller روی دستگاه کاربر می‌سازد بسیار سبک و چابک است و طبق ادعای سازندگانش، با پاسخ‌دادن به درخواست‌های تکراری و آشنا در محیط محلی و فرستادن پرسش‌های ناشناخته به سرورهای Jev، تا ۹۸ درصد به تطابق کامل با خروجی‌های خود Jev می‌رسد.

مدل Jev یک پارادایم و نگاه کاملاً نو در دنیای هوش مصنوعی به حساب می‌آید؛ مدلی که پرحرفی‌ها و تولید متن آزاد مدل‌های زبانی بزرگ رایج (LLM) را کنار گذاشته و فقط روی پاسخ به چند قالب ساختاریافته مشخص تمرکز دارد: انتخاب گزینه‌ای (Choice)، امتیازدهی (Score) و خروجی بدون ساختار محدود (Noul). از آنجا که این مدل درگیر جمله‌سازی‌های طولانی و کلنجار رفتن با ساختار پیچیده زبان انسان نمی‌شود، بسیار ارزان و تند و تیز است و خیلی سریع توجه برنامه‌نویسانی را به خود جلب کرده که برای کارهای تصمیم‌گیری ساختاریافته به هوش مصنوعی نیاز دارند و استفاده از مدل‌های زبانی عظیم برایشان نوعی زیاده‌روی است.

تیم سازنده Jevstiller این ابزار را به یک حافظه کش (Cache) تشبیه می‌کنند که پیش‌روی مدل اصلی Jev می‌نشیند؛ درخواست‌ها را بررسی می‌کند و هر زمان که نسخه محلی به پاسخ خود مطمئن نباشد، آن را به سرورهای اصلی Jev هدایت می‌کند.

تیم توسعه در اسناد راهنمای این پروژه توضیح داده است: «یک پرسش فقط زمانی در سیستم کاربر پاسخ داده می‌شود که مدل محلی بتواند جواب تمام بخش‌های آن را با قطعیت بدهد؛ در غیر این صورت، کل درخواست با کلید اختصاصی کاربر راهی Jev می‌شود، پاسخ اصلی و دست‌نخورده Jev برمی‌گردد و تک‌تک پاسخ‌های انتخابی به یک سطر داده برای آموزش مدل محلی تبدیل می‌شوند.»

راه‌اندازی اولیه Jevstiller درست مثل این است که یک مدل خام روی سیستمتان بالا آورده‌اید که هنوز هیچ‌چیز از نحوه پاسخ‌دهی Jev نمی‌داند. بنابراین در قدم اول باید با انتقال همه پرسش‌ها به Jev و جمع‌آوری پرسش و پاسخ‌ها، الگوها را یاد بگیرد.

در مستندات Jevstiller آمده است: «به‌محض اینکه تعداد نمونه‌ها برای هر دسته به حد نصاب برسد، یک پردازش پس‌زمینه مدل دانش‌آموز و سازوکار مسیریابی را تنظیم می‌کند. از آن لحظه به بعد، به ورودی‌های آشنا و مطمئن روی همان سیستم پاسخ داده می‌شود و بقیه درخواست‌ها مستقیم به سرورهای Jev می‌روند.»

فرض کنید از این هوش مصنوعی برای دسته‌بندی ایمیل‌های ورودی به یک تیم مشخص یا تعیین اولویت کارها استفاده می‌کنید؛ وقتی Jevstiller نمونه‌های کافی از این ایمیل‌ها و تصمیم‌های قبلی را ببیند، خودش دقیقاً مثل Jev دست‌به‌کار می‌شود و با اطمینان بالا اولویت‌ها را تعیین می‌کند.

همان‌طور که تیم Jevstiller اشاره می‌کند، حفظ هماهنگی و تطابق همیشگی با نسخه اصلی Jev بزرگ‌ترین چالش طراحی این سیستم بوده است. آن‌ها برای این موضوع به یک راه‌حل جالب رسیده‌اند: بررسی و بازرسی خودکار مداوم که پاسخ‌های مدل محلی را با نمونه‌هایی تصادفی محک می‌زند.

سازندگان می‌گویند: «همواره ۲ درصد ثابت از تمامی درخواست‌ها بدون در نظر گرفتن نظر مدل محلی، به سرور Jev فرستاده می‌شود و در کنار آن پاسخ مدل محلی نیز ثبت می‌گردد.» این شیوه به آن‌ها اجازه می‌دهد عملکرد مسیریابی سیستم را بدون خطا ارزیابی کنند، چرا که مدل محلی خودش درخواست‌های سخت را رد می‌کند. Jevstiller به‌صورت پویا با داده‌های جدید دوباره آموزش می‌بیند و کاربر می‌تواند درصد هماهنگی مدنظرش را به‌دلخواه تنظیم کند.

اگر در جریان این بازرسی‌ها مشخص شود که میزان هماهنگی پاسخ‌های مدل محلی با Jev افت کرده است، نرخ بازرسی خودبه‌خود بالا می‌رود تا فرآیند بازآموزی سریع‌تر شود. حتی اگر شرایط بدتر شود و به نظر برسد مدل محلی کاملاً از مسیر درست خارج شده، تمام درخواست‌ها مستقیماً به سرورهای Jev هدایت می‌شوند و فرآیند یادگیری از صفر استارت می‌خورد.

آزمایش‌های عملی خود تیم هم نشان داده که این ایده روی کاغذ نمانده و در دنیای واقعی جواب می‌دهد.

توسعه‌دهندگان درباره یک آزمون استرس ۲۴ ساعته می‌گویند: «در یک تست شبانه‌روزی، در ساعت دوازدهم پاسخ‌های مدل اصلی به‌طور نامحسوس کاملاً عوض شد. با فعال شدن بازرسی‌ها، سهم پاسخ‌های محلی ظرف ۴ دقیقه از ۹۰ درصد به ۹ درصد سقوط کرد و بعد از ۴۹ دقیقه، مدل با تکیه بر پاسخ‌های جدید و بدون هیچ‌گونه دخالت انسانی، توانست دوباره سهم پاسخ‌های محلی را به ۹۰ درصد برساند.»

البته تیم سازنده صراحتاً اعتراف کرده که هماهنگی با Jev لزوماً به معنای درست بودن پاسخ نیست. آن‌ها تأکید دارند: «تطابق با یک مدل به معنی بی‌نقص بودن جواب‌ها نیست.»

به زبان ساده‌تر، چه برای کاهش هزینه‌های هوش مصنوعی سراغ این راهکارها بروید و چه راه‌های دیگر را انتخاب کنید، باید یادتان باشد که Jev هم مثل بقیه مدل‌های هوش مصنوعی ممکن است اشتباه کند؛ فرقی هم نمی‌کند که چقدر درباره دقتش ادعا شده باشد.

علاقه‌مندانی که می‌خواهند کار با Jevstiller را تجربه کنند، می‌توانند از طریق مخزن رسمی پروژه با نحوه راه‌اندازی و استفاده از آن آشنا شوند.