رکورد ۸۳۳ هزار دانلود ماهانه برای LEGAL-BERT؛ وقتی توسعه‌دهنده‌ها قید مدل‌های گران‌قیمت را می‌زنند!

آمارهای اخیر پلتفرم هاگینگ فیس (Hugging Face) نشان می‌دهد خانواده انکودرهای LEGAL-BERT که اختصاصاً برای متون حقوقی پیش‌آموزش دیده‌اند، به بیش از ۸۳۳ هزار دانلود ماهانه و ۳۲۰ لایک رسیده‌اند. این مدل‌ها را اولین‌بار محققان دانشگاه اقتصاد و کسب‌وکار آتن در سال ۲۰۲۰ معرفی کردند. البته معیار دانلود هاگینگ فیس شامل فراخوانی‌های خودکار در فرآیندهای بیلد نرم‌افزاری هم می‌شود، اما همین آمار تداوم استفاده گسترده از این مدل‌ها را به خوبی نشان می‌دهد.

مدل اصلی BERT روی مجموعه‌داده‌های عمومی مثل BookCorpus و ویکی‌پدیای انگلیسی آموزش دیده بود؛ اما LEGAL-BERT با حفظ همان معماری انکودر محبوب، سراغ پیکره متنی کاملاً حقوقی و دایره لغات تخصصی رفته است. این تمایز باعث شده برنامه‌نویسان برای تسک‌هایی مثل دسته‌بندی اسناد حقوقی، برچسب‌گذاری، پیش‌بینی کلمات محوشده و سیستم‌های جستجوی حقوقی یک ابزار جمع‌وجور و کارآمد داشته باشند و دیگر درگیر هزینه‌های سنگین پردازشی مدل‌های مولد غول‌پیکر نشوند.

کالبد BERT، بازسازی‌شده برای دنیای وکالت

چک‌پوینت اصلی این مدل از معماری استاندارد BERT-BASE پیروی می‌کند: ۱۲ لایه ترنسفورمر، ۷۶۸ واحد مخفی، ۱۲ هد توجه (Attention Head) و در مجموع حدود ۱۱۰ میلیون پارامتر. این مدل به عنوان یک انکودر، توکن‌ها را به بردارهای متنی تبدیل می‌کند که خوراک سیستم‌های تخصصی دسته‌بندی، برچسب‌گذاری یا بازیابی اطلاعات می‌شوند.

این مدل‌ها تحت لایسنس آزاد CC BY-SA 4.0 منتشر شده‌اند که اجازه استفاده و توسعه را به شرط ذکر منبع و بازنشر مشابه می‌دهد؛ بنابراین تیم‌های فنی باید قبل از استفاده تجاری، الزامات این مجوز را در کنار داده‌های آموزشی و محصول نهایی خود بررسی کنند.