سقوط جایگاه مدل‌های هوش مصنوعی چین در رده‌بندی جهانی پس از تغییر شیوه آزمون‌ها

معیار تازه سنجش هوش مصنوعی و تردید درباره میزان تهدید چین برای OpenAI و Anthropic

مدل‌های هوش مصنوعی چینی در یکی از رده‌بندی‌های معتبر و دقیق این حوزه، افتی شدید را در مقایسه با رقبای آمریکایی خود تجربه کرده‌اند؛ موضوعی که پرسش‌های تازه‌ای را درباره اغراق‌آمیز بودن تهدید ناشی از فناوری‌های رایگان یا ارزان‌تر هوش مصنوعی پدید آورده است.

موسسه مستقل Artificial Analysis که به سنجش عملکرد مدل‌های هوش مصنوعی می‌پردازد، اخیراً سیستم آزمون‌های خود را بازطراحی کرده است تا نحوه استفاده واقعی افراد از این فناوری را دقیق‌تر بازتاب دهد.

یکی از دگرگونی‌های کلیدی این است که اکنون بخش عمده‌ای از آزمون‌ها به‌شکل محرمانه نگهداری می‌شوند؛ اقدامی که مانع می‌شود شرکت‌های سازنده هوش مصنوعی، مدل‌های خود را صرفاً برای کسب نمره بالا در این تست‌های خاص آموزش دهند.

نتایج به دست آمده بسیار چشمگیر بود.

بر اساس گزارش Artificial Analysis، در سامانه قبلی بهترین مدل‌های اصطلاحاً با وزن آزاد (open-weight) تنها ۳ امتیاز از صدرنشین جدول عقب‌تر بودند، اما در ساختار جدید، این فاصله به ۱۲ امتیاز افزایش یافته است.

این فاصله ۱۲ امتیازی شامل مدل Kimi K3.1 Pro از شرکت Moonshot نیز می‌شود. در میان مدل‌هایی که وزن آن‌ها به‌صورت عمومی منتشر شده است، بهترین‌ها تنها به امتیاز ۳۲ رسیدند، در حالی که صدرنشین جدول یعنی Claude Opus 5.5 از شرکت Anthropic امتیاز ۵۸ را به دست آورده بود.

این یافته‌ها می‌تواند پیامدهای چشمگیری برای صنعت هوش مصنوعی و جریان میلیاردی سرمایه‌گذاری‌ها به‌همراه داشته باشد.

شرکت‌های چینی در ماه‌های اخیر مدل‌های قدرتمندی عرضه کرده‌اند که سایر کسب‌وکارها می‌توانند آن‌ها را بارگیری و تنظیم کنند، آن هم اغلب با هزینه‌ای بسیار کمتر از جایگزین‌های آمریکایی. این مسئله نگرانی‌هایی ایجاد کرده بود مبنی بر اینکه غول‌هایی مثل OpenAI و Anthropic ممکن است برای فروش خدمات انحصاری خود با قیمت‌های بالا با چالش روبه‌رو شوند.

اما رده‌بندی جدید نشان می‌دهد این تهدید شاید تا حدی بزرگ‌نمایی شده باشد؛ تحولی که می‌تواند موقعیت سرمایه‌گذاری برای عرضه عمومی سهام (IPO) برنامه‌ریزی‌شده Anthropic و عرضه احتمالی سهام OpenAI در آینده را تقویت کند.

شریدار راماسوامی، مدیرعامل شرکت Snowflake و از مدیران ارشد پیشین گوگل، به اهمیت این تغییر در شیوه ارزیابی اشاره کرده است.

او در شبکه اجتماعی X نوشت: «روزی که بنچمارک‌ها محرمانه شدند، فاصله مدل‌های متن‌باز از ۳ امتیاز به ۱۲ امتیاز رسید. آیا مدل‌های متن‌باز واقعاً در حال رسیدن به رقبا بودند، یا آزمون‌ها لو رفته بود؟»

دستکاری بنچمارک‌ها برای ثبت نمرات بالاتر

اشاره او به این واقعیت است که وقتی شرکت‌های توسعه‌دهنده هوش مصنوعی دقیقاً از شیوه ارزیابی فناوری خود آگاه باشند، می‌توانند مدل را طوری آموزش دهند که منحصراً در همان آزمون‌ها بدرخشد؛ رفتاری که لزوماً به معنای عملکرد یکسان و مطلوب آن مدل در کاربردهای واقعی نخواهد بود.

ساتیا نادلا، مدیرعامل مایکروسافت، و شماری دیگر از متخصصان هوش مصنوعی این پدیده را «هک بنچمارک» نامیده‌اند. محرمانه نگه داشتن آزمون‌ها امکان چنین دستکاری‌هایی را بسیار دشوار می‌کند.

نتایج تازه نشان می‌دهد شرکت‌های آمریکایی برتری بزرگ‌تری نسبت به تصورات پیشین دارند، به‌ویژه در وظایف پیچیده علمی. جالب اینجاست که حتی Claude Haiku 5.5، یعنی مدل کوچک‌تر شرکت Anthropic، از تمامی مدل‌های دارای وزن آزاد پیشی گرفته است.

حتی طرفداران مدل‌های با وزن آزاد نیز اذعان دارند که در گذشته مشکلی در ارزیابی‌ها وجود داشته است.

نیتن لمبرت، یکی از بنیان‌گذاران استارتاپ Trillium Labs که در حوزه پژوهش مدل‌های زبانی بزرگ به‌ویژه مدل‌های وزن آزاد فعالیت می‌کند، در این باره گفت: «فکر می‌کنم شاخص قبلی، توان مدل‌های وزن آزاد را بیش از حد واقعی و خوش‌بینانه نشان می‌داد.»

میزان کاربرد واقعی مدل‌ها

دلیل دیگری نیز برای ایجاد تردید درباره میزان تهدید مدل‌های هوش مصنوعی با وزن آزاد وجود دارد: مردم در عمل چقدر از آن‌ها استفاده می‌کنند؟

دکس راد، از هم‌بنیان‌گذاران شرکت توسعه نرم‌افزار OpenCode، اخیراً ترافیک عبوری از پلتفرم OpenRouter را بررسی کرده است؛ سرویسی پرطرفدار که به توسعه‌دهندگان اجازه می‌دهد به مدل‌های هوش مصنوعی از ارائه‌دهندگان گوناگون دسترسی داشته باشند.

او تخمین زد که تقریباً کل ترافیک روز گذشته مدل‌های DeepSeek در OpenRouter، می‌تواند تنها با یک رک از رایانه‌های قدرتمند انویدیا با هزینه‌ای حدود ۶ تا ۷ میلیون دلار پردازش شود.

با توجه به حجم سرسام‌آور توجهی که به مدل‌های هوش مصنوعی چینی معطوف شده، این سطح از توان پردازشی به شکلی غافلگیرکننده ناچیز است.

البته OpenRouter تنها بخش کوچکی از بازار را پوشش می‌دهد و داده‌های آن بیانگر تمام تقاضای موجود برای مدل‌های وزن آزاد نیست.

اما نکته کلیدی راد فراتر از این آمار است: بخش عمده سرمایه‌گذاری عظیم زیرساختی در هوش مصنوعی توسط ارائه‌دهندگان بزرگی نظیر OpenAI و Anthropic هدایت می‌شود، نه توسعه‌دهندگان کوچک‌تری که از مدل‌های باز استفاده می‌کنند.

بیش از ۱ میلیارد کاربری را در نظر بگیرید که ماهانه از ChatGPT استفاده می‌کنند. این کاربران پیوسته با مدل‌های اختصاصی OpenAI سر و کار دارند، حجمی از فعالیت که احتمالاً بسیار فراتر از آمارهای ثبت‌شده در درگاه‌هایی مانند OpenRouter است.

دو پرسش اساسی

در مجموع، این رده‌بندی‌ها و داده‌های مصرف، دو پرسش جدی را درباره مدل‌های با وزن آزاد پیش می‌کشد: آیا این مدل‌ها واقعاً کیفیتی هم‌تراز با برترین فناوری‌های آمریکایی دارند، و آیا تقاضا برای آن‌ها به اندازه‌ای است که تبلیغات نشان می‌دهد؟

البته باید به چند نکته ظریف نیز توجه داشت.

لمبرت از استارتاپ Trillium تأکید می‌کند که مدل‌های با وزن آزاد همچنان در بخش‌هایی مثل توسعه نرم‌افزار و برنامه‌نویسی بسیار رقابتی باقی مانده‌اند و می‌توانند کنترل بیشتر و هزینه‌های احتمالی کمتری را برای کسب‌وکارها به ارمغان آورند.

با این حال، شواهد جدید روایتی پررنگ را به چالش می‌کشد که صنعت فناوری را تحت تأثیر قرار داده بود؛ این باور که شرکت‌های هوش مصنوعی چین با سرعتی باورنکردنی در حال رسیدن به پیشتازان آمریکایی هستند و مدل‌های درآمدی آن‌ها را تهدید می‌کنند.

برای سرمایه‌گذارانی که ارزش‌گذاری‌های نجومی شرکت‌های OpenAI و Anthropic را ارزیابی می‌کنند، این تمایز از اهمیتی حیاتی برخوردار است.