اپل با آموزش هوش مصنوعی برای گلچین داده‌های خود، دقت مدل DFN5B را به ۸۴ درصد رساند

مدل DFN5B-CLIP اپل؛ ورود پالایش هوشمند داده‌ها به دنیای بینایی ماشین

مدل DFN5B-CLIP-ViT-H-14-378 اپل به آمار نزدیک به ۸۰۰ هزار دانلود در پلتفرم هاگینگ فیس (Hugging Face) دست یافته و در حال حاضر قدرت‌بخش ده‌ها ابزار و فضای تعاملی (Spaces) است. اگرچه هاگینگ فیس درخواست‌های دریافت فایل را به‌جای کاربران یکتا محاسبه می‌کند، اما همین حجم از تعامل نشان‌دهنده استقبال گسترده جامعه هوش مصنوعی از مدلی است که بدون کمپین‌های تبلیغاتی پر سر و صدا منتشر شد.

این چک‌پوینت بر پایه معماری ViT-H/14 مدل CLIP و با ابعاد ورودی ۳۷۸ پیکسل توسعه یافته است. مدل‌های CLIP تصویر و متن را در یک فضای برداری مشترک نگاشت می‌کنند؛ قابلیتی که به توسعه‌دهندگان امکان می‌دهد تصاویر را بر اساس توضیحات متنی دسته‌بندی کنند، با استفاده از پرس‌وجوهای زبان طبیعی به جستجوی تصاویر بپردازند، مجموعه‌های بصری را خوشه‌بندی کنند و ویژگی‌های لازم را در اختیار سیستم‌های چندوجهی بگذارند. تمایز کلیدی مدل اپل با نسخه‌های متن‌باز رایج CLIP در داده‌های آموزشی آن نهفته است؛ جایی که یک شبکه عصبی آموزش‌دیده، ۵ میلیارد جفت تصویر و متن را از میان یک جامعه آماری بسیار بزرگ‌تر گلچین کرده است.

• معماری: انکودر تصویر ViT-H/14 به‌همراه انکودر متنی CLIP
• ابعاد ورودی: ۳۷۸ در ۳۷۸ پیکسل
• مجموعه‌داده آموزشی: DFN-5B، پالایش‌شده از میان حدود ۴۳ میلیارد جفت داده نامزد
• رابط نرم‌افزاری: سازگار با کتابخانه OpenCLIP
• مجوز استفاده: لایسنس پژوهشی یادگیری ماشین اپل (Apple Machine Learning Research license)

پالایشگر هوشمند؛ انتخاب ۵ میلیارد جفت داده با شبکه عصبی

در مقاله پژوهشی DFN، محققان اپل و دانشگاه واشنگتن انتخاب داده‌ها را به‌عنوان بخشی یادگیرنده در چرخه آموزش مدل در نظر گرفته‌اند. مجموعه‌داده‌های سنتی در مقیاس وب معمولاً به ابزارهای تشخیص زبان، قواعد متادیتا، آستانه‌های تشابه، حذف داده‌های تکراری و معیارهای کیفی دست‌ساز متکی هستند؛ اما شبکه‌های پالایش داده (DFN) از یک مدل آموزش‌دیده به‌عنوان امتیازدهنده اصلی برای تصمیم‌گیری درباره ورود هر جفت تصویر و متن به مجموعه‌داده نهایی بهره می‌برند.

آزمایش‌های پژوهشگران نشان داد که دقت یک مدل در دسته‌بندی نهایی، لزوماً معیار مناسبی برای پیش‌بینی کیفیت پالایش داده‌ها نیست. برای نمونه، برخی از شبکه‌هایی که عملکرد درخشانی در بنچمارک ImageNet داشتند، در عمل مجموعه‌داده‌های آموزشی ضعیف‌تری تولید کردند؛ در مقابل، مدل‌هایی با دقت پایین‌تر که روی مجموعه‌داده‌های کوچک‌تر اما بادقت انتخاب‌شده آموزش دیده بودند، عملکرد بسیار بهتری در نقش فیلتر از خود نشان دادند. ویژگی کلیدی این شبکه، توانایی آن در رتبه‌بندی داده‌های نامزد بر اساس ارزش آموزشی آن‌ها بود، نه قابلیت آن برای ایفای نقش به‌عنوان طبقه‌بندی‌کننده نهایی.

اپل این فیلتر هوشمند را روی حدود ۴۳ میلیارد جفت داده خام و پالایش‌نشده، شامل ۱۲٫۸ میلیارد نمونه از دیتابیس CommonPool-12.8B و ۳۰ میلیارد جفت تصویر و متن عمومی دیگر اعمال کرد. در نهایت، مجموعه‌داده DFN-5B حاصل شد که شامل ۵ میلیارد جفت داده دست‌چین‌شده با بالاترین کیفیت است. بر اساس آمار ارائه‌شده در این مقاله علمی، هزینه آموزش شبکه پالایش داده حتی کمتر از یک‌پنجاهم کل فرآیند آموزش مدل اصلی CLIP بود.

چک‌پوینت منتشرشده شامل انکودر نهایی CLIP است که با مجموعه‌داده DFN-5B آموزش دیده است. با این حال، بازآفرینی کامل این چرخه پالایش داده همچنان به دسترسی به یک بانک اولیه از داده‌های نامزد، پیاده‌سازی دقیق الگوریتم فیلترینگ مقاله و زیرساخت محاسباتی لازم برای امتیازدهی به میلیاردها داده نیاز دارد.