افت فاحش عملکرد هوش مصنوعی در راستی‌آزمایی ۱۰ زبان آفریقایی؛ بنچمارک AfrIFact چه می‌گوید؟

راستی‌آزمایی آنلاین زمانی از نظر فنی به کلافی پیچیده تبدیل می‌شود که برای مثال ادعایی درباره شیوع یک بیماری به زبان ولوف (Wolof) مطرح شده باشد، اما معتبرترین منبع برای سنجش صحت آن، به زبان انگلیسی یا زبان آفریقایی دیگری در دسترس باشد. بنچمارک AfrIFact دقیقاً همین زنجیره چندزبانه را ارزیابی می‌کند؛ سنجشی که از افت فاحش دقت در بازیابی اطلاعات میان‌زبانی و سقوط عملکرد راستی‌آزمایی در حالت زیروشات (Zero-shot) تا سطح شانس و حدس تصادفی در بسیاری از مدل‌های باز پرده برمی‌دارد.

تیم پژوهشگران شبکه Masakhane NLP با همکاری محققانی از دانشگاه‌های سارلند، مک‌گیل، واترلو و چندین مؤسسه پژوهشی دیگر، مجموعه‌داده‌ای با بیش از ۱۸ هزار ادعای نوشته‌شده توسط انسان را همراه با اسناد منبع و شواهد متنی مستندسازی کرده‌اند. این مجموعه علاوه بر زبان انگلیسی، ۱۰ زبان بومی قاره آفریقا شامل امهری، هوسا، ایگبو، اورومو، شونا، سواحیلی، تویی، ولوف، یوروبا و زولو (isiZulu) را در بر می‌گیرد.

سه مأموریت مجزا در دل یک فرآیند یکپارچه

بنچمارک AfrIFact به‌جای خلاصه کردن کل فرآیند در یک نمره آماری کلی، راستی‌آزمایی خودکار را به سه مرحله مشخص تفکیک می‌کند تا پژوهشگران بتوانند نقاط دقیق نقص و خطای مدل‌ها را شناسایی کنند:

1. بازیابی اطلاعات (Information Retrieval): جست‌وجو و یافتن اسناد منبع مرتبط با ادعا در دل یک بانک اطلاعاتی چندزبانه و عظیم.
2. استخراج شواهد (Evidence Extraction): انتخاب دقیق جملاتی که ادعای مطرح‌شده را تأیید یا نقض می‌کنند.
3. راستی‌آزمایی ادعا (Claim Verification): اختصاص یکی از سه برچسب «تأییدشده» (SUPPORTS)، «ردشده» (REFUTES) یا «شواهد ناکافی» (NOT_ENOUGH_INFORMATION). برچسب سوم زمانی به کار می‌رود که داده‌های موجود برای قضاوت نهایی درباره ادعا کفایت نکند.

این بنچمارک دو حوزه موضوعی مختلف را با روش‌های منبع‌یابی تفکیک‌شده پوشش می‌دهد. بخش نخست، AfrIFact-Health، از مقالات سازمان جهانی بهداشت (WHO) که از انگلیسی ترجمه شده‌اند بهره می‌گیرد و ادعاها و برچسب‌های توضیحی آن میان نسخه‌های زبانی گوناگون انتقال یافته‌اند. بخش دوم، AfrIFact-Culture-News، بر مقالات ویکی‌پدیا به زبان‌های بومی پیرامون رهبران سیاسی، غذاها، سنت‌ها و مذاهب، رویدادهای ورزشی و واحدهای پولی متمرکز است و با مقالات خبری پایگاه XL-Sum تکمیل می‌شود.