کاهش ۶ برابری تاخیر دسته‌بندی در Pydantic AI با ادغام طبقه‌بند Jev

فریم‌ورک Pydantic AI برای تصمیم‌گیری‌های نوع‌دار و مبتنی بر سطح اطمینان، Jev را اضافه کرد

فریم‌ورک Pydantic AI اکنون TypeSafeModel را ادغام کرده است که یک ارائه‌دهنده برای طبقه‌بند Jev از شرکت TypeSafe به شمار می‌رود. توسعه‌دهندگان هم‌اکنون می‌توانند ایجنت‌های دسته‌بندی و مسیریابی را بدون نیاز به یک مدل تولیدکننده متن اجرا کنند: در این روش، شمای خروجی موجود Pydantic به پرسش تبدیل می‌شود و Jev مقادیر نوع‌دار را همراه با داده‌های مربوط به سطح اطمینان برای هر فیلد برمی‌گرداند.

این ادغام برای آن دسته از مراحل ایجنت که دارای فضای پاسخ ثابت هستند، مانند دسته‌بندی تیکت‌ها، نظارت، ارزیابی و مسیریابی ابزارها، اهمیت زیادی دارد. این وظایف می‌توانند ضمن حفظ قابلیت‌های اعتبارسنجی، رابط ارائه‌دهنده و مکانیزم‌های جایگزین (Fallback) در Pydantic AI، از یک طبقه‌بند سریع‌تر و ارزان‌تر بهره ببرند.

شمای داده به پرسش‌های طبقه‌بند تبدیل می‌شود

مدل Jev متن را دریافت می‌کند اما هیچ‌گونه متن پیوسته‌ای تولید نمی‌کند. شرکت TypeSafe این مدل را یک طبقه‌بند System One توصیف می‌کند که تمامی فیلدهای درخواستی را با هم ارزیابی کرده و احتمالات را در حدود ۱۸۰ میلی‌ثانیه برمی‌گرداند. از آنجا که این مدل توکن‌ها را به‌صورت متوالی تولید نمی‌کند، به گفته TypeSafe، حتی با اضافه‌شدن فیلدهای بیشتر به مدل Pydantic، میزان تاخیر همچنان پایدار باقی می‌ماند.

این ارائه‌دهنده، حاشیه‌نویسی‌های Python را به انواع پرسش‌های پشتیبانی‌شده در Jev نگاشت می‌کند:

• مقدار bool به یک پرسش بله یا خیر تبدیل می‌شود و فاصله از ۰.۵ برای نشان دادن میزان اطمینان استفاده می‌گردد.
• مقادیر Literal و Enum به پرسش‌های چندگزینه‌ای تک‌جوابی با توزیع کامل احتمالات تبدیل می‌شوند.
• یک float محدود به بازه [0, 1]، احتمال پیش‌بینی‌شده را برمی‌گرداند.
• اعداد صحیح محدود با توضیحاتی برای هر سطح، به رتبه‌بندی‌های مبتنی بر معیار تبدیل می‌شوند.
• مقدار list[Literal] هر گزینه را به‌عنوان یک پرسش مجزای بله یا خیر ارزیابی می‌کند.
• عبارت X | None به مدل اجازه می‌دهد تا از انتخاب یک مقدار خودداری کند.

قابلیت‌های پشتیبانی‌نشده پیش از آنکه ارائه‌دهنده درخواستی ارسال کند، با خطا مواجه می‌شوند. این موارد شامل خروجی‌های str، ورودی‌های فایل بومی و فراخوانی‌های مستقیم ابزار است که نیاز به آرگومان‌های تولیدشده دارند. در این حالت، Pydantic AI به‌جای تلاش برای ترکیب یک مقدار پشتیبانی‌نشده، خطای UserError را برمی‌گرداند.

تغییر نام مدل تنها با یک جابه‌جایی

ایجنت‌های موجود در Pydantic AI می‌توانند Jev را با استفاده از نام مدل typesafe:jev-latest انتخاب کنند. مدل خروجی، هم شمای پاسخ و هم توضیحات فیلدها را که Jev به‌عنوان پرسش استفاده می‌کند، تامین می‌نماید.

from typing import Literal

from pydantic import BaseModel, Field
from pydantic_ai import Agent


class Ticket(BaseModel):
    """Triage a support ticket."""

    urgent: bool = Field(
        description="Does this need a reply within the hour?"
    )
    area: Literal["billing", "bug", "account", "other"]
    churn_risk: float = Field(ge=0, le=1)


agent = Agent(
    "typesafe:jev-latest",
    output_type=Ticket,
)

result = await agent.run(
    "Second time this month my card was charged twice. "
    "Fix it or I cancel."
)

print(result.response.provider_details["confidence"])

نصب این ارائه‌دهنده با دستور pip install "pydantic-ai[typesafe]" انجام می‌شود. شرکت TypeSafe برای هر یک میلیون توکن ورودی مبلغ ۰.۰۴۲ دلار دریافت می‌کند و هیچ هزینه‌ای بابت توکن‌های خروجی نمی‌گیرد. نام‌های مستعار jev-latest و jev-preview در حال حاضر به نسخه یکسانی از مدل اشاره دارند.

تیم Pydantic یک پیکربندی FallbackModel(jev, luna) را روی ۱۲۰ تیکت پشتیبانی به همراه سه ابزار متصل آزمایش کردند. در این بررسی، Jev توانست ۱۱۵ تیکت را مدیریت کند، در حالی که پنج درخواست به مدل جایگزین یعنی Luna ارجاع داده شد.

نمونه آزمایشی برای اثبات یک برتری معنادار در دقت، بسیار کوچک بود. با در نظر گرفتن ۱۲۰ تیکت، بازه اطمینان گزارش‌شده حدود شش واحد درصد بود و هر پنج مدل آزمایش‌شده برای طبقه‌بندی فوریت و حوزه موضوعی در محدوده یکسانی قرار گرفتند. تفاوت‌های اندازه‌گیری‌شده صرفاً در زمینه تاخیر و هزینه بود.

شرکت TypeSafe به طور جداگانه زمان پاسخگویی Jev را بین ۷۰ تا ۵۰۰ میلی‌ثانیه گزارش داده و مدعی سرعت ۴۰ تا ۲۰۰ برابری نسبت به مدل‌های زبانی رایج است. این آمارهای گسترده‌تر بر اساس یک مقایسه متفاوت با بنچمارک ۱۲۰ تیکتی Pydantic AI به دست آمده‌اند، جایی که میانه تاخیر نهایی تقریباً شش برابر نسبت به Luna و یازده برابر نسبت به Sol بهبود یافته است.

مسیریابی ابزار از طریق مکانیزم جایگزین

هنگامی که یک ایجنت دارای ابزارهای مختلفی است، ارائه‌دهنده یک پرسش دسته‌بندی اضافه می‌کند که می‌پرسد آیا ورودی نیاز به یکی از آن ابزارها دارد یا نوع خروجی اعلام‌شده. مدل Jev می‌تواند ابزارهایی را که هیچ آرگومانی نمی‌گیرند، انتخاب و فراخوانی کند. اگر ابزاری نیازمند آرگومان‌های تولیدشده باشد، مدل یک پاسخ ToolCallProposed تولید می‌کند که مکانیزم FallbackModel می‌تواند آن را به یک مدل زبانی ارجاع دهد.

رابط برنامه‌نویسی FallbackModel.fallback_on یک کنترل‌کننده پاسخ را می‌پذیرد و به برنامه‌ها اجازه می‌دهد تا بر اساس سطح اطمینان Jev، انتقال درخواست را آغاز کنند. در بنچمارک تیکت‌ها، این ترتیب باعث شد ۱۱۵ مورد از ۱۲۰ درخواست روی Jev باقی بماند. تنظیم typesafe_tool_call_threshold که مقدار پیش‌فرض آن 0.6 است، سطح اطمینان لازم برای انتخاب یک ابزار به‌جای بازگرداندن نوع خروجی را کنترل می‌کند.

موارد استفاده مناسب برای Jev

مدل Jev برای آن دسته از مراحل ایجنت مناسب است که خروجی‌های معتبر آنها از قبل مشخص بوده و از طریق انواع پشتیبانی‌شده در Python قابل بیان باشند. موارد استفاده رایج عبارتند از:

• مسیریابی و تریاژ: صف‌های پشتیبانی، برچسب‌های درخواست‌های ادغام (Pull-request)، دسته‌بندی حوادث و سطوح شدت خطا.
• مکانیزم جایگزین مبتنی بر اطمینان: موارد معمول روی Jev باقی می‌مانند، در حالی که موارد نامشخص به یک مدل زبانی ارجاع داده می‌شوند.
• ارزیابی ایجنت: محتوای در حال قضاوت و پرسش‌های ارزیابی به‌عنوان فیلدهای API مجزا ارسال می‌شوند.
• گاردریل‌ها (حفاظ‌های امنیتی): تصمیمات نوع‌دار بدون نیاز به استخراج فایل‌های JSON از متن تولیدشده، به دست می‌آیند.

تولید متن، دستیار کدنویسی، تحلیل فایل و ابزارهایی که به آرگومان‌های تولیدشده نیاز دارند، همچنان نیازمند یک مدل دیگر هستند. مفاهیم انتزاعی ارائه‌دهنده و جایگزین در Pydantic AI به برنامه‌ها اجازه می‌دهد تا آن مدل زبانی را برای درخواست‌هایی که Jev قادر به انجامشان نیست یا با اطمینان ناکافی طبقه‌بندی می‌کند، حفظ نمایند.

اکنون فهرست رو به رشدی از پروژه‌های جامعه توسعه‌دهندگان، شامل یک افزونه برای PostgreSQL، یک ارائه‌دهنده برای Vercel AI SDK و یک ایجنت مکالمه برای Home Assistant بر پایه Jev ایجاد شده‌اند. برای سیستم‌های متمرکز بر دسته‌بندی، این ادغام ضمن حفظ اعتبارسنجی نوع‌دار و امتیازات دقیق اطمینان، تولید توکن‌به‌توکن و تجزیه متون JSON را از مراحل تصمیم‌گیری حذف می‌کند.