شرکت AT&T از مدل متن‌باز OTel 2.0 برای صنعت مخابرات رونمایی کرد
شرکت AT&T با همکاری شماری از غول‌های فناوری، از مدل زبانی متن‌باز OTel 2.0 با ۳۱ میلیارد پارامتر برای صنعت مخابرات رونمایی کرد. این مدل بر پایه Gemma 4 توسعه یافته و روی ۴۴۰ میلیارد توکن تخصصی شبکه آموزش دیده است. انتشار این پروژه تحت مجوز Apache 2.0 گامی مهم در ارتقای هوش مصنوعی در زیرساخت‌های ارتباطی به‌شمار می‌رود.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- مدل جدید OTel 2.0 با ۳۱ میلیارد پارامتر بر پایه Gemma 4 توسعه یافته و با ۴۴۰ میلیارد توکن تخصصی مخابراتی آموزش دیده است
- وزن‌های این مدل پس از آموزش با تکنیک QLoRA در قالب یک نسخه استاندارد و یکپارچه bf16 ادغام شده‌اند تا هنگام اجرا نیازی به ابزارهای جانبی نباشد
- انتشار این پروژه تحت مجوز آزاد و متن‌باز Apache 2.0 امکان استفاده و استقرار آسان آن را برای فعالان صنعت مخابرات فراهم می‌کند
فربد توکلی از دفتر ارشد داده در شرکت AT&T نسخه نهایی مدل OTel 2.0 را روی پلتفرم Hugging Face با شناسه farbodtavakkoli/OTel-2.0-LLM-31B-IT-QLoRA منتشر کرد. این رویداد آغازگر خانواده مدل‌های OTel 2.0 به‌شمار می‌رود؛ پروژه‌ای تخصصی در حوزه مدل‌های هوش مصنوعی مخابراتی که با همکاری AT&T، مایکروسافت، AMD، دل، انجمن جهانی GSMA، کنسرسیوم MLCommons، شرکت Red Hat و Pleias توسعه یافته است.
این مدل تنظیم‌شده بر پایه مدل پایه Gemma 4 31B-IT بنا شده و دانش تخصصی حوزه ارتباطات را از طریق پس‌آموزش با نزدیک به ۴۴۰ میلیارد توکن مخابراتی به دست آورده است. برخورداری از مجوز متن‌باز Apache 2.0، ادغام وزن‌ها در قالب دقت bf16 و پشتیبانی پلتفرم‌هایی چون Microsoft Foundry، پلتفرم Featherless AI و Red Hat، گزینه‌های متنوعی را برای آزمایش و به‌کارگیری این مدل در اختیار توسعه‌دهندگان می‌گذارد.
شش ویژگی کلیدی این مدل
مشخصه | جزئیات |
|---|---|
مدل پایه | Gemma 4 31B-IT |
شیوه آموزش | استفاده از QLoRA با کوانتیزاسیون ۴ بیتی NF4 در bitsandbytes |
حجم داده آموزشی | حدود ۴۴۰ میلیارد توکن تخصصی مخابراتی |
فرمت فایل ارائه‌شده | چک‌پوینت مستقل و ادغام‌شده با دقت محاسباتی bf16 |
حجم وزن‌های مدل | حدود ۶۲٫۵ گیگابایت |
مجوز انتشار | Apache 2.0 |
آموزش به روش QLoRA بدون وابستگی‌های زمان اجرا
تیم توسعه ابتدا یک آداپتور LoRA را روی نسخه کوانتیزه‌شده ۴ بیتی NF4 از مدل Gemma 4 31B-IT آموزش دادند. آن‌ها در گام بعد، وزن‌های پایه را به‌دقت محاسباتی bf16 بازگرداندند و تغییرات LoRA را با آن ادغام کردند تا در نهایت یک فایل یکپارچه استاندارد از کلاس Gemma4ForConditionalGeneration به وجود آید.
از این رو، فایل ارائه‌شده با وجود استفاده از پسوند QLoRA در عنوان خود، در عمل از وزن‌های خالص bf16 بهره می‌برد و اجرای آن هیچ نیازی به کتابخانه‌های کمکی نظیر bitsandbytes یا PEFT و Unsloth ندارد. علاوه بر این، یک نسخه همتای دیگر با نام OTel-2.0-LLM-31B-IT نیز عرضه شده است که گزینه‌ای با تنظیم کامل تمامی پارامترها به‌شمار می‌رود و به تیم‌های فنی اجازه می‌دهد عملکرد روش‌های مختلف تطبیق و مصالحه‌های عملیاتی را ارزیابی کنند.
پیکربندی این تطبیق‌دهنده با رنک ۲۵۶، ضریب آلفای ۵۱۲، دراپ‌اوت صفر و هدف‌گیری تمام لایه‌های خطی انجام گرفته است. این تنظیمات ظرفیت یاد‌گیری چشمگیری در مقایسه با ساختارهای متداول LoRA به مدل می‌دهد و به آن کمک می‌کند تا ضمن بهره‌مندی از کاهش مصرف حافظه در طول آموزش، حجم عظیمی از مفاهیم تخصصی مخابرات را در حافظه خود تثبیت کند.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
پژوهش دانشگاه استنفورد؛ ۲۶ ایجنت هوش مصنوعی در مدیریت هم‌زمان چند کاربر شکست می‌خورند
پژوهشگران دانشگاه استنفورد و ام‌آی‌تی با ارزیابی ۲۶ مدل تجاری و متن‌باز دریافتند که ایجنت‌های هوش مصنوعی هنگام تعامل هم‌زمان با چند کاربر عملکرد قابل اعتمادی ندارند. این دستیارها در مدیریت دستورهای متضاد، حفظ حریم خصوصی و هماهنگی تیمی با خطاهای جدی مواجه می‌شوند. این تیم با معرفی بنچمارک جدید Muses-Bench، چالش‌های امنیتی و نظارتی مدل‌های زبانی در فضاهای کاری اشتراکی را به تصویر کشیده‌اند.
ابزار OpenCode Browse کنترل مستقیم تب‌های فعال مرورگر را به ایجنت‌های کدنویسی می‌سپارد
ابزار جدید OpenCode Browse با ترکیب افزونه مرورگر Chromium و پروتکل MCP، به ایجنت‌های هوش مصنوعی امکان می‌دهد تب‌های فعال و دارای نشست مرورگر را مستقیماً هدایت کنند. این ابزار با حذف نیاز به ساخت کلیدهای API و ورودهای مکرر، اتوماسیون محلی را ساده‌تر می‌کند. هم‌چنین توسعه‌دهندگان می‌توانند در هر لحظه مراحل حساسی مانند پرداخت‌ها یا ورود دومرحله‌ای را شخصاً در دست بگیرند.
اتحاد OpenAI، گوگل و مایکروسافت؛ انتشار استاندارد مشترک برای سنجش خطرات جیل‌بریک هوش مصنوعی
فروم مدل‌های فرانتیر با حضور نام‌های بزرگی چون OpenAI، گوگل و مایکروسافت، از نخستین چارچوب استاندارد برای سنجش و رتبه‌بندی خطرات جیل‌بریک در مدل‌های پیشرفته هوش مصنوعی رونمایی کرد. این سیستم یکپارچه به تیم‌های امنیتی کمک می‌کند میزان خطر و سهولت دور زدن تدابیر دفاعی را با معیاری مشترک و دقیق ارزیابی کنند.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.