غوغای مدل کم‌حجم ConvNeXt-Tiny؛ ثبت ۷۵۰ هزار دانلود و دقت خیره‌کننده ۸۴ درصدی
مدل بینایی و جمع‌وجور ConvNeXt-Tiny با ثبت بیش از ۷۵۰ هزار دانلود در هاگینگ‌فیس، این روز‌ها توجه توسعه‌دهندگان را به خود جلب کرده است. این مدل سبک با وجود داشتن تنها ۲۸٫۶ میلیون پارامتر، به لطف تکنیک‌های مدرن پیش‌آموزش توانسته در آزمون معتبر ImageNet-1k به دقت فوق‌العاده ۸۴٫۱۹ درصدی دست پیدا کند.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- چک‌پوینت پرطرفدار ConvNeXt-Tiny با معماری استاندارد و تنها ۲۸٫۶ میلیون پارامتر، به رکورد بیش از ۷۵۰ هزار بار دانلود در پلتفرم Hugging Face رسیده است.
- این مدل با پیش‌آموزش روی مجموعه‌داده ImageNet-12k و فاین‌تیون بعدی، توانسته به دقت فوق‌العاده ۸۴٫۱۹ درصدی در بنچمارک ImageNet-1k دست یابد.
- ترکیب کارایی شبکه‌های سنتی CNN با ترفندهای مدرن ترنسفورمرها و لایسنس آزاد آپاچی ۲، این مدل را به گزینه‌ای سریع و به‌صرفه برای توسعه‌دهندگان تبدیل کرده است.
راز استقبال پرشور توسعه‌دهندگان از نسخه 12K مدل ConvNeXt-Tiny
صفحه اختصاصی این مدل در هاگینگ‌فیس بیش از ۷۵۰ هزار بار دانلود را ثبت کرده است. هرچند بخشی از این آمار شامل دانلودهای خودکار و اسکریپت‌ها می‌شود، اما این چک‌پوینت مزیت‌های عملی چشمگیری دارد که دلیل اصلی این استقبال گسترده را مشخص می‌کند: تنها ۲۸٫۶ میلیون پارامتر، لایسنس کاملاً آزاد Apache-2.0، ادغام استاندارد با کتابخانه پرطرفدار timm و دستیابی به دقت ۸۴٫۱۹ درصدی Top-1 در آزمون ImageNet-1k با رزولوشن ارزیابی پیش‌فرض ۲۸۸ پیکسل.
این چک‌پوینت بر پایه معماری استاندارد ConvNeXt-Tiny طراحی شده است. راس وایتمن (Ross Wightman) در ابتدا آن را روی مجموعه‌داده ImageNet-12k (زیرمجموعه‌ای با ۱۱٬۸۲۱ کلاس از نسخه عظیم ImageNet-22k) پیش‌آموزش داده و سپس روی ImageNet-1k فاین‌تیون کرده است. فرآیند پیش‌آموزش روی تراشه‌های TPU و از طریق برنامه تحقیقات ابری گوگل (TPU Research Cloud) انجام شد، در حالی که فاز فاین‌تیون روی نمونه‌های ابری Lambda Labs با ۸ پردازنده گرافیکی (GPU) به پایان رسید.
دایره واژگان بصری گسترده‌تر در قالبی سبک و چابک
معماری ConvNeXt که نخستین بار در مقاله اصلی ConvNeXt معرفی شد، شبکه‌های کانولوشنی کلاسیک شبیه به ResNet را با الهام از ایده‌های ترنسفورمرهای بینایی ارتقا داده است. بلوک‌های این شبکه از کانولوشن‌های عمیق (Depthwise) با کرنل‌های بزرگ، نرمال‌سازی لایه‌ای (LayerNorm)، باتل‌نک‌های معکوس و ساختار بهبودیافته لایه‌ها استفاده می‌کنند. این اصلاحات به توسعه‌دهندگان اجازه می‌دهد از متدهای پیشرفته آموزش در عصر ترنسفورمرها، اما درون یک بستر سبک، مطمئن و پایدار CNN بهره‌مند شوند.
مجموعه‌داده ImageNet-12k واژگان بصری بسیار غنی‌تر و گسترده‌تری را نسبت به ImageNet-1k در اختیار مدل می‌گذارد، بدون اینکه شلوغی و سنگینی نسخه کامل ۲۲ هزار کلاسی را داشته باشد. این نظارت فراگیر در گام اول، ویژگی‌هایی در شبکه خلق می‌کند که در مرحله فاین‌تیون نهایی روی ۱۰۰۰ کلاس با کیفیت بسیار بهتری منتقل می‌شوند. از آنجا که تست‌های مقایسه‌ای جداگانه‌ای برای تک‌تک اجزای دیتاست منتشر نشده، این بازده درخشان را باید حاصل کل پکیج آموزشی دانست؛ ترکیبی هماهنگ از ساخت زیرمجموعه، شیوه‌های بهینه‌سازی، تنظیم دقیق، پیش‌پردازش و رزولوشن نهایی ارزیابی.
- تعداد پارامترها: ۲۸٫۶ میلیون
- ابعاد ورودی در فاز آموزش: ۲۲۴ در ۲۲۴ پیکسل
- ابعاد ورودی در ارزیابی پیش‌فرض: ۲۸۸ در ۲۸۸ پیکسل
- دقت در آزمون ImageNet-1k: ۸۴٫۱۹ درصد برای Top-1 و ۹۷٫۱۲ درصد برای Top-5 در ابعاد ۲۸۸ پیکسلی
- حجم محاسبات: حدود ۴٫۴۷ گیگامک (GMACs) در ورودی ۲۲۴ پیکسلی و ۷٫۴ گیگامک در ورودی ۲۸۸ پیکسلی
شاخص GMAC تعداد کل عملیات ضرب و جمع هم‌زمان (Multiply-Accumulate) را اندازه می‌گیرد. جالب است بدانید برخی از ابزار‌های ارزیابی سخت‌افزاری، ضرب و جمع را جداگانه محاسبه می‌کنند که در این صورت رقم FLOP گزارش‌شده تقریباً دو برابر خواهد بود.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
دردسر بزرگ کسب‌وکارهای کوچک با هوش مصنوعی؛ از شوک قبوض نجومی تا ابزار‌های خودسر!
گزارش جدید نشان می‌دهد بسیاری از کسب‌وکارهای کوچک بدون نظارت و سازوکار مشخص به سراغ هوش مصنوعی رفته‌اند و با قبوض نجومی و ابزار‌های مهارنشده غافلگیر شده‌اند. در حالی که تب پذیرش هوش مصنوعی بالا گرفته، غفلت از مدیریت هزینه‌ها و خطرات امنیتی باعث عقب ماندن این شرکت‌ها از رقبا شده است.
پایان عصر توسعه سنتی نرم‌افزار؛ ایجنت‌های هوش مصنوعی قواعد بازی برنامه‌نویسی را به هم ریختند!
دیگر دوران توسعه سنتی نرم‌افزار و چرخه‌های قدیمی SDLC برای سیستم‌های هوشمند به سر آمده است؛ چرا که ایجنت‌های هوش مصنوعی شبیه نرم‌افزارهای ثابت نیستند و رفتاری غیرقطعی و شبیه به انسان دارند. حالا شرکت‌ها برای مهار و به‌کارگیری این ایجنت‌ها باید چرخه‌ای کاملاً جدید به نام ADLC تعریف کنند و آن‌ها را نه مثل چند خط کد ساده، بلکه درست مانند کارمندان تازه استخدام‌شده آموزش دهند و مدیریت کنند.
چرا هوش مصنوعی به جای نجات سیستم درمان، دارد هزینه‌های پزشکی را نجومی‌تر می‌کند؟
گزارش تازه مؤسسه فناوری سلامت پترسون نشان می‌دهد که ورود هوش مصنوعی به سیستم درمان، بدون اصلاح قوانین و ساختار پرداخت‌ها، نه‌تنها باری از دوش بیماران برنمی‌دارد، بلکه هزینه‌های پزشکی را نجومی‌تر می‌کند. در واقع اگر مشوق‌های مالی به سمت درمان واقعی هدایت نشوند، رویای تحول سلامت توسط هوش مصنوعی بر باد خواهد رفت.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.