هوش مصنوعی جدید MVMAE مدل‌های بزرگ رادیولوژی را با ۱۰ برابر داده کمتر شکست داد

پژوهشگران دانشگاه‌های ETH زوریخ، کالیفرنیا در ارواین و زوریخ از روش پیش‌آموزش جدیدی با نام MVMAE رونمایی کرده‌اند که از دسته‌بندی طبیعی تصاویر در پرونده‌های رادیولوژی برای یادگیری الگوها استفاده می‌کند. محققان این پروژه در مقاله علمی خود با عنوان «ساختار، ناظر آموزش است: خودرمزگذارهای ماسک‌شده چندنمایی برای رادیولوژی»، گزارش داده‌اند که این روش در سه مجموعه‌داده معتبر MIMIC-CXR، CheXpert و PadChest موفق شده است شاخص دقت تشخیص بیماری (AUROC) بالاتری را نسبت به مدل‌های نظارتی سنتی و مدل‌های پایه بینایی-زبانی ثبت کند.

اکثر فرآیندهای پردازش تصویر اشعه ایکس قفسه سینه، هر عکس را به چشم یک نمونه کاملاً مستقل می‌بینند. در مقابل، روش MVMAE تعلق تصاویر به یک پرونده پزشکی مشخص را حفظ می‌کند؛ رویکردی که به نماهای روبرو، نماهای جانبی (نیم‌رخ) و تصویربرداری‌های متوالی در یک نوبت معاینه اجازه می‌دهد به ناظر یادگیری یکدیگر تبدیل شوند. این شیوه بدون نیاز به برچسب‌های بالینی اضافی آموزش می‌بیند و در نهایت یک انکودر بینایی تولید می‌کند که هنگام تولید پاسخ (استنتاج) می‌تواند تک‌تک تصاویر را به‌صورت جداگانه پردازش کند.

مجموعه‌داده‌های MIMIC-CXR، CheXpert و PadChest صدها هزار پرونده تصویربرداری را در خود جای داده‌اند که در مقایسه با میلیاردها تصویر به‌کاررفته برای آموزش مدل‌های بینایی عمومی، تعداد بسیار کمتری به شمار می‌رود. علاوه بر این، تهیه برچسب‌های تشخیصی برای تصاویر پزشکی پرهزینه است، می‌تواند خطای انسانی داشته باشد و بسته به روال گزارش‌نویسی بیمارستان‌ها و مراکز درمانی مختلف، تغییر کند. این محدودیت‌ها آموزش نظارتی مرسوم را به‌ویژه زمانی که فقط بخش کوچکی از داده‌ها دارای برچسب هستند، محدود می‌کند.

تصاویر مربوط به یک پرونده پزشکی، ساختار آناتومی، نشانه‌های بیماری و شرایط تصویربرداری مشترکی دارند. متخصصان رادیولوژی معمولاً با مقایسه زاویه‌های مختلف تصویربرداری، موقعیت دقیق عارضه‌ها را مشخص کرده و ساختارهای روی‌هم‌افتاده بافت‌ها را از هم تفکیک می‌کنند. در دنیای یادگیری ماشین، دو نمای مختلف از یک نوبت معاینه یک «جفت مثبت» (Positive Pair) تشکیل می‌دهند؛ یعنی با وجود تفاوت در پیکسل‌ها، بازنمایی‌های برداری آن‌ها باید اطلاعات بالینی یکسان و هماهنگی را حفظ کند.

دو تابع زیان، یک انکودر یکپارچه برای پرونده‌های رادیولوژی

در مدل‌های سنتی خودرمزگذار ماسک‌شده، بخش زیادی از وصله‌های تصویر پنهان می‌شود، هوش مصنوعی بخش‌های نمایان را انکود می‌کند و سپس پیکسل‌های گم‌شده را بازسازی می‌نماید. روش MVMAE ضمن حفظ این هدف، یک تابع زیان جدید نیز به فرآیند می‌افزاید که وظیفه هم‌ترازسازی بازنمایی‌های حاصل از تصاویر متعلق به یک پرونده مشخص را بر عهده دارد.