استقبال گسترده از BiomedBERT مایکروسافت؛ ثبت ۸۷۰ هزار دانلود ماهانه برای مدل تخصصی پزشکی

مدل BiomedBERT مایکروسافت با ثبت نزدیک به ۸۷۰ هزار دانلود در ماه گذشته، بار دیگر به فهرست مدل‌های پرطرفدار پلتفرم Hugging Face بازگشته است. این انکودر مبتنی بر معماری BERT با حدود ۱۱۰ میلیون پارامتر، نخستین بار در سال ۲۰۲۰ توسط بخش تحقیقات مایکروسافت (Microsoft Research) و با نام اولیه PubMedBERT معرفی شد و پس از گذشت چند سال، همچنان نقطه شروع و زیربنای اصلی بسیاری از سیستم‌های دسته‌بندی، استخراج اطلاعات و بازیابی متون زیست‌پزشکی به‌شمار می‌رود.

چرا آموزش مدل از نقطه صفر نتیجه داد؟

توسعه مدل BiomedBERT پاسخی به این پرسش کلیدی بود که آیا یک مدل زبانی که تمام مراحل آموزش آن صرفاً روی متون زیست‌پزشکی انجام شده است، می‌تواند از مدل‌های عمومی BERT که بعداً برای این حوزه تنظیم شده‌اند، بهتر عمل کند یا خیر. پژوهشگران مایکروسافت هم وزن‌های اولیه مدل و هم واژگان الگوریتم WordPiece را کاملاً از ابتدا مقداردهی کردند و سپس کل فرایند پیش‌آموزش را مستقیماً روی متون پزشکی انجام دادند. نتایج ارائه‌شده در مقاله پژوهشی اصلی این تیم نشان داد که این شیوه نسبت به مدل‌های هم‌دوره‌ای که کار خود را با پیش‌آموزش روی متون عمومی آغاز کرده بودند، برتری پایدار و ملموسی به‌همراه دارد.

نسخه پرطرفدار فعلی این مدل با شناسه BiomedBERT-base-uncased-abstract-fulltext، مجموعه‌ای از چکیده مقالات پایگاه PubMed و متن کامل مقالات پایگاه PubMed Central را با هم ترکیب کرده است. واژگان این مدل نیز مستقیماً از همین داده‌ها استخراج شده و همین امر باعث می‌شود تعداد قطعات فرعی واژه‌ها (Subwords) برای اصطلاحات پیچیده پزشکی به حداقل برسد. کاهش تعداد تکه‌های کلمه سبب می‌شود مرزهای معنایی عبارات تخصصی راحت‌تر شناسایی شوند و مدل در وظایفی هم‌چون استخراج اسامی ژن‌ها، مواد شیمیایی، داروها و بیماری‌ها به‌دقت بالاتری دست یابد.

بررسی جایگاه مدل در معیارهای ارزیابی تخصصی

مایکروسافت عملکرد این مدل را با استفاده از بنچمارک اختصاصی BLURB (معیار سنجش درک و استدلال زبان در علوم زیست‌پزشکی) ارزیابی کرده است. بنچمارک BLURB چندین وظیفه پردازش متن از جمله بازشناسی موجودیت‌های نام‌دار (NER)، استخراج چارچوب بالینی PICO، استخراج روابط میان مفاهیم، شباهت جملات، دسته‌بندی اسناد و پاسخ‌دهی استخراجی به پرسش‌ها را ترکیب کرده و امتیاز کلی واحدی به مدل اختصاص می‌دهد.