مدل OTel 2.0 معرفی شد؛ تصمیم‌گیری سریع و دقیق با Gemma 4 گوگل تنها در یک توکن

فربد توکلی نسخه‌ای سفارشی‌سازی‌شده از مدل زبانی گوگل به نام OTel-2.0-Decision-26B-A4B-4bit را منتشر کرده است؛ مدلی ۴ بیتی و کوانتیزه‌شده که بر پایه نسخه دستوری و معماری ترکیبی متخصصان (MoE) مدل Gemma 4 26B گوگل توسعه یافته است. این نسخه با ارائه رابط تصمیم‌گیری مبتنی بر برچسب‌های ثابت، امکان دسته‌بندی داده‌ها، پاسخ به پرسش‌های بله یا خیر و امتیازدهی ترتیبی را فراهم می‌کند.

این انتشار برای سیستم‌هایی اهمیت دارد که به خروجی‌های محدود، ساختاریافته و معیارهای قابل اعتماد برای سنجش اطمینان نیاز دارند. در این مدل، به ازای هر درخواست تنها یک توکن تولید می‌شود و برنامه میزان احتمال تخصیص‌یافته به گزینه‌ها و برچسب‌هایی مانند A، B و C را می‌خواند. چنین رویکردی نیاز به پردازش و تحلیل متن‌های آزاد را از بین می‌برد و امکان تعیین آستانه تصمیم‌گیری، خودداری از پاسخ در صورت شک داشتن و مسیریابی دقیق داده‌ها را از طریق یک رابط سازگار با OpenAI فراهم می‌سازد.

• ورودی‌ها: پیام‌ها، تیکت‌های پشتیبانی، متن گفتگوها، لاگ‌های سیستمی یا اسنادی که همراه با یک پرسش و گزینه‌های مشخص ارسال می‌شوند.
• خروجی: یک توکن حاوی برچسب انتخابی به‌همراه میزان احتمال آن و مجموع احتمالات اختصاص‌یافته به برچسب‌های معتبر.
• نحوه استقرار و سرویس‌دهی: فریمورک vLLM 0.30.0 به‌همراه مستندات استفاده از ROCm برای پردازنده‌های گرافیکی AMD Instinct.
• کاربردهای خارج از دامنه این مدل: گفتگوهای متنی آزاد، بازیابی اطلاعات، رتبه‌بندی اسناد و تولید متون طولانی.

اندپوینت چت برای تصمیم‌گیری با گزینه‌های ثابت

توسعه‌دهندگان متن اصلی، پرسش مدنظر و مجموعه‌ای فشرده از پاسخ‌ها را از طریق API چت ارسال می‌کنند. پرامپت ارسالی باید پاسخ را تنها به یک حرف محدود کند و هر گزینه نیز دقیقاً به یک توکن در توکنایزر نگاشت شود.

question = """State:
Order #1182. Status: shipped on 3 September. Carrier: DHL.

Question: Has the order been shipped?

Options:
A. Yes
B. No

Answer with the letter only."""

r = client.chat.completions.create(
    model="OTel-2.0-Decision-26B-A4B-4bit",
    temperature=0,
    max_tokens=1,
    logprobs=True,
    top_logprobs=64,
    messages=[{"role": "user", "content": question}],
)

اولین موقعیت توکن تولیدشده، احتمال مربوط به گزینه‌های مختلف را در خود دارد. یک نمونه کد ساده برای استخراج این احتمالات به شرح زیر است:

from math import exp

labels = {"A", "B"}
top = r.choices[0].logprobs.content[0].top_logprobs

label_probs = {label: 0.0 for label in labels}
seen = set()

for item in top:
    label = item.token.strip()
    if label in labels:
        label_probs[label] += exp(item.logprob)
        seen.add(label)

if seen != labels:
    raise RuntimeError(
        "Some labels were omitted from top_logprobs; "
        "increase the limit or reject the result."
    )

decision = max(label_probs, key=label_probs.get)
answer_mass = sum(label_probs.values())