ورود هوش مصنوعی Jev به دنیای بینایی ماشین؛ پشتیبانی از تصویر و حافظه ۲۵۶ هزار توکنی در آپدیت تازه TypeSafe AI

استارتاپ هوش مصنوعی TypeSafe AI نسخه جدید مدل تصمیم‌گیری خود یعنی Jev 1.14.0 را برای سیستم تصمیم‌گیری System One منتشر کرد؛ نسخه‌ای که سه قابلیت تجربی و هیجان‌انگیز را به همراه دارد: امکان ارسال تصویر در هر بخش متنی، ارائه پاسخ‌های مکانی با مختصات نرمال‌شده (Bounding Box) و چهار برابر شدن سقف حافظه زمینه (Context) نسبت به حالت پیش‌فرض. البته TypeSafe AI به خاطر اینکه این قابلیت‌ها هنوز به حد نصاب پایداری کامل در محیط‌های پروداکشن نرسیده‌اند، هر سه ویژگی را فعلاً در بخش تنظیمات پرخطر یا «منطقه خطر» (Danger Zone) به صورت اختیاری قرار داده است.

مدل Jev تنها یک اندپوینت API به آدرس POST /v1/systemone در اختیار کاربران می‌گذارد تا پرسش‌های دارای نوع مشخص (Typed Questions) را بر اساس یک وضعیت مشترک یا state مطرح کنند. برنامه‌ها در خروجی مقادیر بولی (Boolean)، گزینه‌های انتخابی (Choice)، امتیازات یا سایر مقادیر منطبق بر ساختار داده (Schema) را دریافت می‌کنند که کدهای اتوماسیون می‌توانند بدون هیچ دردسری مستقیماً از آن‌ها استفاده کنند. حالا نسخه ۱.۱۴ همان ساختار یکپارچه قبلی را حفظ کرده، اما ورودی‌های بصری، خروجی‌های مکانی و ظرفیت بسیار بیشتری برای پذیرش داده‌ها به آن افزوده است.

سه سوییچ فعال‌سازی اختیاری

• تصاویر (Images): امکان قرار دادن ارجاع به تصاویر در بخش‌های وضعیت (state)، دستورالعمل‌ها (instructions) یا معیارها (criteria). برای استفاده از این قابلیت کافی است هدر TypeSafe-Danger-Zone-Images: true فعال شود. پشتیبانی از تصاویر به این هدر وابسته است و روی هر دو نسخه ۱.۱۳.۰ و ۱.۱۴.۰ مدل Jev کار می‌کند؛ هرچند پرسش‌های مرتبط با باکس مکانی منحصراً به نسخه ۱.۱۴ نیاز دارند.
• باکس مکانی (Box): دریافت مختصات نرمال‌شده یک شیء درون تصویر. این قابلیت پایه‌ای و آزمایشی با نام عنصر پایه Box تنها در نسخه Jev 1.14 در دسترس است.
• حافظه زمینه طولانی (Long Context): چهار برابر کردن محدودیت استاندارد توکن‌ها با ارسال هدر TypeSafe-Danger-Zone-Long-Context: true.

تبدیل تصاویر به دارایی‌های قابل استفاده مجدد

سیستم تصمیم‌گیری System One جایگاه تصاویر (Placeholders) را در بخش‌های state، دستورالعمل‌های پرسش (instructions) و معیارها (criteria) تشخیص می‌دهد و پردازش می‌کند. هر تصویر فقط یک بار در نقشه اصلی assets و با کلید شناسه متناظر تعریف می‌شود؛ به این ترتیب چندین سوال مختلف می‌توانند از همان یک تصویر مشترک استفاده کنند. در یک درخواست می‌توان گزینه‌های Choice را همراه با تصاویر نمونه تعریف کرد یا حتی توالی کوتاهی از فریم‌های متوالی را برای تحلیل حرکتی در متغیر وضعیت قرار داد.

مدل پایه Jev 1.13 هم پیش از این توانایی پردازش ورودی‌های بصری را داشت؛ بنابراین TypeSafe این ویژگی را روی هر دو نسخه ۱.۱۳ و ۱.۱۴ فعال کرده است. با این حال، این شرکت گوشزد می‌کند که پردازش‌های تصویری هنوز اطمینان‌پذیری کمتری نسبت به متون دارند و پیشنهاد می‌کند قضاوت‌های پیچیده بصری را به چند پرسش مجزا، متمرکز و ساده‌تر خرد کنید.

قابلیت Box همیشه مختصات تحویل می‌دهد

قابلیت Box یک نوع خروجی مکانی جدید به سیستم System One اضافه می‌کند. در درخواست ارسالی، مقدار type: "box" همراه با دستوری مانند the coffee mug in photo مشخص می‌شود. در پاسخ، Jev مقادیر top، bottom، left و right را به شکل اعدادی بین ۰ تا ۱ به همراه نمره اطمینان (Confidence Score) بازمی‌گرداند.

این مختصات در واقع کسری از ابعاد تصویر اصلی هستند. برنامه‌ها می‌توانند با ضرب کردن left و right در عرض تصویر و top و bottom در ارتفاع آن، موقعیت دقیق پیکسلی شیء را به دست آورند.

نکته مهم و عجیب اینجاست که خروجی Box وضعیتی برای «نبود شیء» ندارد! یعنی حتی اگر شیء مورد نظر اصلاً در عکس وجود نداشته باشد، مدل باز هم چهار مختصات خروجی می‌دهد. بنابراین TypeSafe توصیه می‌کند این قابلیت را در کنار یک پرسش بولی Noul قرار دهید تا ابتدا بررسی شود آیا هدف در تصویر حضور دارد یا خیر، و تنها در صورت مثبت بودن پاسخ، از مختصات Box استفاده کنید.

مستندات TypeSafe به یک ارزیابی تشخیص بریدگی با استفاده از ۳۶ نقاشی برش‌خورده اشاره کرده که در هر کدام بخش مشخصی از هدف خارج از کادر قرار گرفته است:

این ارقام هرچند مربوط به یک آزمایش کوچک هستند، اما دلیل محکمی ارائه می‌دهند که چرا به جای اتکا به یک پرسش کلی، باید بررسی‌های حساس به لبه‌ها را به چند پرسش تفکیک‌شده و دقیق تقسیم کرد.

گسترش پنجره زمینه تا ۲۵۶ هزار توکن

سقف توکن پیش‌فرض Jev در کل درخواست همچنان ۶۴,۰۰۰ توکن است که شامل یک سقف مجزای ۳۲,۰۰۰ توکنی برای متغیر وضعیت مشترک به اضافه طولانی‌ترین پرسش تکی می‌شود. با فعال‌سازی هدر حافظه طولانی (Long-Context)، هر دوی این محدودیت‌ها دقیقاً ۴ برابر می‌شوند.

به گفته TypeSafe، هرچند مدل Jev از نظر فنی توانایی پذیرش این حجم بزرگ‌تر ورودی را دارد، اما با طولانی‌تر شدن زمینه، ممکن است دقت و قابلیت اطمینان مدل کاهش پیدا کند. تعیین پیش‌فرض‌های پایین‌تر برای این است که توسعه‌دهندگان به سمت ساخت اشیاء سبک‌تر وضعیت و پرسش‌های دقیق‌تر هدایت شوند؛ بنابراین سیستم‌هایی که این پنجره وسیع‌تر را فعال می‌کنند باید عملکرد مدل را در طول‌های ورودی واقعی خود دقیقاً بسنجند.

اولین گام با نسخه پیش‌نمایش

نسخه Jev 1.14.0 علاوه بر قابلیت‌های بالا، شامل به‌روزرسانی‌های عمومی مدل نیز می‌شود که بیش‌ترین جهش عملکردی آن در پردازش وظایف چندزبانه گزارش شده است. در حال حاضر نام مستعار jev-preview به نسخه ۱.۱۴.۰ اشاره دارد و TypeSafe قصد دارد تا یک هفته پس از انتشار، نسخه پایدار jev-latest را هم به این نسخه ارتقا دهد. البته مشتریانی که به رفتارهای کاملاً تکرارپذیر نیاز دارند می‌توانند دقیقاً شماره نسخه مورد نظر خود را قفل (Pin) کنند.

شرکت TypeSafe بنچمارک‌های داخلی خود را در مقایسه با مدل‌های متن‌باز (Open-weight) منتشر کرده، اما همچنان به مشتریان پیشنهاد می‌کند عملکرد سیستم را بر روی بارهای کاری اختصاصی خود ارزیابی کنند. تعرفه استفاده از این مدل بدون تغییر باقی مانده و همچنان ۴۲ دلار به ازای هر یک میلیارد توکن ورودی (معادل ۰.۰۴۲ دلار برای هر یک میلیون توکن) محاسبه می‌شود و توکن‌های خروجی کاملاً رایگان هستند.

این به‌روزرسانی، افق‌های رابط برنامه‌نویسی تصمیم‌گیری نوع‌دار (Typed Decision API) را به ورودی‌های بصری و خروجی‌های مکانی گسترش می‌دهد، در حالی که ساختار ساده تک‌درخواستی آن دست‌نخورده باقی مانده است. به کمک این قابلیت‌ها، سیستم‌های دسته‌بندی تیکت می‌توانند اسکرین‌شات‌ها را هم ضمیمه کنند، پلتفرم‌های تریاژ ویدیو می‌توانند حضور و موقعیت اشیاء را در فریم‌ها ردیابی نمایند و سامانه‌های پردازش اسناد قادرند مختصات برش دقیق بخش‌ها را تحویل دهند. با تمام این‌ها، استفاده عملیاتی در ابعاد تجاری هنوز نیازمند سنجش دقیق صحت پردازش تصویر، مدیریت اشیاء غایب و جلوگیری از افت دقت در متن‌های بسیار طولانی است.