استارتاپ Sarvam با معرفی مدل منبع‌باز Prism، زمان تصمیم‌گیری هوش مصنوعی را به ۴۴ میلی‌ثانیه رساند

استارتاپ Sarvam از مدل منبع‌باز Sarvam Prism تحت مجوز Apache 2.0 رونمایی کرد؛ مدلی که بر پایه معماری ترکیبی از متخصصان (MoE) با ۱۰۵ میلیارد پارامتر در Sarvam توسعه یافته است. مدل Prism متن زمینه، پرسش‌ها و گزینه‌های ثابت پاسخ را دریافت می‌کند و سپس تنها در یک مرحله پردازش (Forward Pass)، به هر یک از گزینه‌ها یک احتمال آماری اختصاص می‌دهد. این طراحی به‌طور ویژه برای اموری چون دسته‌بندی، مسیریابی، ارزیابی کیفیت و سایر تصمیم‌گیری‌های ساختاریافته در خطوط تولید نرم‌افزار هدف‌گذاری شده است.

محاسبه احتمالات در یک مرحله پردازش

مدل Prism امتیازها را به‌طور مستقیم از حالت‌های پنهان (Hidden States) مدل استخراج می‌کند. در این ساختار، هر پرسش به یک توالی تبدیل می‌شود که شامل وضعیت، دستورالعمل‌ها، گزینه‌های پاسخ و یک نشانگر پاسخ است. یک چیدمان توجه (Attention) اختصاصی باعث می‌شود تمام گزینه‌ها موقعیت شروع یکسانی داشته باشند و از یکدیگر ایزوله شوند، در حالی که نشانگر پاسخ می‌تواند به تمام گزینه‌های نامزد توجه کند. در نهایت، یک لایه تصمیم‌گیری کوچک، حالت‌های پنهان حاصل را به احتمالی مشخص برای هر گزینه تبدیل می‌نماید.

این چیدمان ثابت، خروجی را منحصراً به گزینه‌های ارائه‌شده محدود می‌کند و امتیازدهی را کاملاً از ترتیب ورودی‌ها مستقل می‌سازد. مدل Prism کلیدهای گزینه‌ها را پیش از امتیازدهی مرتب می‌کند؛ بنابراین جابه‌جا کردن ترتیب گزینه‌ها همان ورودی یکسان را به مدل تحویل می‌دهد. طبق اعلام استارتاپ Sarvam، در آزمایشی با ۲٬۰۰۰ پرسش که ترتیب گزینه‌های آن‌ها تصادفی شده بود، پاسخ‌های کاملاً یکسانی بدون نیاز به توان پردازشی اضافه به دست آمد. این ویژگی مشکلی را حل می‌کند که پیش‌تر در مدل‌های مولد به چشم می‌خورد؛ جایی که مدل‌ها هنگام انتخاب میان برچسب‌هایی مانند A، B و C نسبت به ترتیب چینش گزینه‌ها حساسیت و سوگیری نشان می‌دادند.

استارتاپ Sarvam زمان پاسخ‌دهی میانه این مدل را روی یک پردازنده گرافیکی NVIDIA B200 برابر با ۴۴ میلی‌ثانیه و تأخیر آن را در ۹۵ درصد سناریوها ۴۲۰ میلی‌ثانیه ثبت کرده است. این آزمون با استفاده از ۱٬۰۰۰ درخواست تصادفی از بنچمارک عمومی Decision Index انجام شد و درخواست‌ها به‌جای پردازش هم‌زمان دسته‌ای، به‌صورت پیاپی ارسال شدند.

این شرکت هم‌چنین از ثبت میانگین امتیاز ۷۱٫۸ در سه شاخص تصمیم‌گیری خبر می‌دهد. در مقایسه انجام‌شده توسط Sarvam، این بالاترین امتیاز در میان مدل‌های تصمیم‌گیری با زمان پاسخ‌دهی زیر ۱۰۰ میلی‌ثانیه به‌شمار می‌رود. البته هر دو آمار کیفیت و زمان پاسخ‌دهی توسط خود شرکت توسعه‌دهنده گزارش شده‌اند و نتایج واقعی در محیط‌های تولیدی به طول درخواست، سخت‌افزار، میزان پردازش هم‌زمان و پیکربندی سرور بستگی خواهد داشت.

پرسش‌های درون یک درخواست به‌صورت دسته‌ای و هم‌زمان پردازش می‌شوند، اما استقلال مفهومی آن‌ها از یکدیگر حفظ می‌گردد. علاوه بر این، هر پرسش از متن زمینه‌ای تا سقف ۱۳۱٬۰۷۲ توکن پشتیبانی می‌کند.

سه نوع پرسش در یک فراخوانی واحد

رابط برنامه‌نویسی (API) این مدل یک وضعیت (state) و مجموعه‌ای از پرسش‌ها (questions) را دریافت می‌کند. هر پرسش می‌تواند از یکی از سه نوع خروجی زیر بهره ببرد:

تنها با یک‌بار فراخوانی می‌توان چندین پرسش مختلف را بر اساس یک وضعیت مشترک ارزیابی کرد. برای نمونه، در کد زیر یک تیکت پشتیبانی مسیریابی می‌شود، میزان فوریت آن مورد بررسی قرار می‌گیرد و سطح ناراحتی و عصبانیت مشتری تخمین زده می‌شود:

answers = model.decide(
    state={
        "ticket": "My card was charged twice..."
    },
    questions={
        "team": {
            "type": "choice",
            "instructions": "Which team?",
            "criteria": {
                "billing": "payments and refunds",
                "tech": "app problems",
                "delivery": "shipping",
            },
        },
        "urgent": {
            "type": "yes_no",
            "instructions": "Reply within the hour?",
        },
        "anger": {
            "type": "score",
            "instructions": "How upset?",
            "criteria": [
                "calm",
                "annoyed",
                "angry",
                "furious",
            ],
        },
    },
)

تنظیم دقیق برای آستانه‌های اطمینان

برآورد میزان اطمینان به برنامه‌ها اجازه می‌دهد تا تصمیم بگیرند چه زمانی یک نتیجه را بپذیرند، چه زمانی مدل بزرگ‌تری را فرا بخوانند یا پرونده را به یک کارشناس انسانی ارجاع دهند. طبق گزارش Sarvam، مدل Prism در تمامی محدوده‌های اطمینان آزموده‌شده در زبان انگلیسی و زبان‌های هندی، حالتی محافظه‌کارانه (کم‌برآورد) داشته است؛ به این معنا که نرخ خطاهای واقعی کمتر از احتمالات تخمینیِ اعلام‌شده توسط مدل بود.

این کالیبراسیون دقیق از فرآیندهای مبتنی بر آستانه اطمینان پشتیبانی می‌کند. برای مثال، یک تیم فنی می‌تواند پیش‌بینی‌های با درصد اطمینان بالا را به‌صورت خودکار پردازش کند و موارد با درصد اطمینان پایین‌تر را برای بررسی بیشتر به سطوح بالاتر یا اپراتور بفرستد. البته تعیین این آستانه‌ها همچنان نیازمند اعتبارسنجی بر اساس داده‌ها، برچسب‌ها و هزینه خطای هر سامانه خواهد بود.

وظایف سازگار با گزینه‌های از پیش تعیین‌شده

استارتاپ Sarvam در ساختار درونی خود از مدل Prism برای ارزیابی ردگیری‌ها (Trace Evaluation)، حفاظ‌های امنیتی پرامپت، مسیریابی درخواست‌ها در کارخانه توکن و قضاوت کیفی در بستر آزمون گفتاربه‌گفتار استفاده می‌کند. همین رابط کاربری برای مراحلی از خطوط پردازش مناسب است که به خروجی‌های سریع و ساختاریافته نیاز دارند:

• تریاژ تیکت‌های پشتیبانی و تشخیص قصد کاربر
• ارزیابی اجرای سیستم بر اساس معیارهای امتیازدهی مشخص
• بررسی ایمنی داده‌های ورودی و خروجی
• مسیریابی هوشمند میان مدل‌های کم‌هزینه و پرهزینه
• امتیازدهی و سنجش متون یا رونوشت‌ها بر اساس دستورالعمل‌های معین

مدل Prism مستلزم این است که گزینه‌های پاسخ پیش از اجرای استنتاج مشخص شوند؛ از این رو برای تصمیم‌گیری‌های محدود و مقید بسیار مناسب‌تر از استخراج باز یا تولید آزاد محتوا است. سیستم‌هایی که به ارائه‌ توضیحات، برچسب‌های نوظهور یا پاسخ‌های تشریحی نیاز دارند، باید از یک مرحله تولید متن جداگانه توسط مدل‌های زبانی مولد استفاده کنند.

استقرار محلی نیازمند ۱۲۰ گیگابایت حافظه است

مدل Prism وزن‌های خود را در قالب FP8 و با فرمت float8_e4m3fn ذخیره می‌کند که دارای یک ضریب مقیاس به ازای هر سطر خروجی است و فعال‌سازی‌ها را در زمان اجرا به ازای هر توکن مقیاس‌بندی می‌نماید. در هر لایه، ۱۲۸ متخصص فعال از طریق دو ضرب ماتریسی گروهی FP8 در یک کرنل Triton اجرا می‌شوند. لایه‌های تعبیه (Embeddings) و نرمال‌سازی در قالب bf16 باقی مانده‌اند، در حالی که بخش مسیریاب مدل متخصصان (MoE Router) برای دستیابی به‌دقت عددی بالاتر در فرمت fp32 اجرا می‌شود.

اجرای استنتاج به‌صورت محلی نیازمند یک پردازنده گرافیکی NVIDIA با پشتیبانی از فرمت محاسباتی FP8 و حدود ۱۲۰ گیگابایت حافظه در دسترس مانند پردازنده‌های B200 یا H200 است. هم‌چنین وزن‌های مدل تقریباً ۱۰۶ گیگابایت از فضای دیسک را اشغال می‌کنند.

چیدمان اختصاصی FP8 در مدل Prism با ساختار پیش‌فرض AutoModelForCausalLM و سرورهای استنتاج عمومی سازگاری ندارد. بنابراین تیم‌های فنی باید از پیاده‌سازی رسمی Sarvam استفاده کنند یا زیرساخت سرویس‌دهی خود را با کرنل‌ها و معماری این مدل تطبیق دهند. افزون بر این، استارتاپ Sarvam نسخه میزبانی‌شده این مدل را از طریق کارخانه توکن Indus نیز در دسترس توسعه‌دهندگان قرار داده است.

رابطی متمرکز برای تصمیم‌گیری در سامانه‌های عملیاتی

بسیاری از سیستم‌های عملیاتی کنونی از مدل‌های مولد می‌خواهند خروجی خود را در قالب JSON تولید کنند و سپس پاسخ دریافتی را اعتبارسنجی و تجزیه می‌نمایند. این الگو زمان رمزگشایی را افزایش می‌دهد، احتمال تولید خروجی‌های نامعتبر را بالا می‌برد و با تغییر ترتیب گزینه‌ها در پرامپت ممکن است پاسخ‌های متفاوتی تولید کند. مدل Prism این فرآیند پردردسر را با رابطی محدود و ساختاریافته جایگزین کرده است که احتمالات آماری را به‌طور مستقیم روی گزینه‌های از پیش تعریف‌شده محاسبه می‌کند.

مدل زیربنایی Sarvam 105B یک مدل مبتنی بر معماری ترکیبی از متخصصان است که در هند و ذیل طرح ملی IndiaAI Mission آموزش دیده است. استارتاپ Sarvam نسخه‌های ۳۰ و ۱۰۵ میلیارد پارامتری این مدل را در رویداد India AI Impact Summit 2026 معرفی و تحت مجوز Apache 2.0 منتشر کرد. اکنون مدل Prism این معماری قدرتمند را برای تصمیم‌گیری‌های فوق‌سریع با کمترین تأخیر بهینه‌سازی کرده است و گزینه‌ای منبع‌باز در اختیار توسعه‌دهندگان می‌گذارد؛ به‌ویژه در سناریوهایی که تولید خروجی ساختاریافته، کالیبراسیون دقیق و رفتار قابل پیش‌بینی نسبت به گزینه‌ها نقشی حیاتی در طراحی سیستم ایفا می‌کنند.