مدل متن‌باز EdgeRock-4B معرفی شد؛ پردازش متن‌های طولانی بدون افزایش مصرف حافظه

معرفی

استارتاپ Rock Matrix از مدل متن‌باز EdgeRock-4B رونمایی کرده است؛ مدلی ۴ میلیارد پارامتری که با ساختاری نوآورانه، چالش افزایش سرسامآور مصرف حافظه در پردازش متن‌های طولانی را حل می‌کند.

توضیحات و ساختار

ویژگی‌های کلیدی

1. معماری مدل: این مدل از ترکیب ۲۴ لایه بازگشتی و ۸ لایه توجه اختصاصی موسوم به RMA تشکیل شده است. لایه‌های بازگشتی وظیفه خلاصهسازی زمینه کلی متن را برعهده دارند، یک پنجره محلی ۱٬۰۲۴ توکنی جزئیات توکن‌های اخیر را مدیریت می‌کند و بخش ویژه لنگرهای حافظه راک (Rock Memory Anchors یا RMA) که شامل یک مخزن ثابت متشکل از ۱٬۰۲۴ رکورد کلید و مقدار آموزشیافته به ازای هر گروه است، جزئیات حیاتی و دوردست متن را با دقت ذخیره می‌کند.
2. مصرف حافظه مرتبه O(1): حافظه موقت توجه (KV Cache) به ازای هر توالی در این مدل منحصراً ۷۲ مگابایت (و مجموع کل تاریخچه پایدار ۹۷٫۷۶ مگابایت) است؛ تفاوتی ندارد که مدل متنی به طول ۴ هزار توکن را پردازش کند یا متنی به درازای ۲۵۶ هزار توکن، میزان حافظه مصرفی در طول استدلال همواره ثابت می‌ماند.
3. توانمندی در استدلال: مدل EdgeRock-4B در آزمون‌های دشوار ریاضی AIME (سال‌های ۲۰۲۴ تا ۲۰۲۶) به میانگین دقت ۸۲٫۹ درصدی در معیار pass@1 دست یافته است، در حالیکه ۱۶ مدل دیگر دارای حافظه محدود (مانند خانواده RWKV-7) در بهترین حالت به‌دقت ۱۸٫۸ درصد رسیده‌اند. افزون بر این، این مدل در ۶ بنچمارک بینایی به میانگین امتیاز ۸۴٫۹ درصد رسیده است.
4. بهرهوری بالا در سرویسدهی: این مدل امکان اجرای هم‌زمان ۵۱۲ توالی طولانی را تنها روی یک پردازنده گرافیکی ۸۰ گیگابایتی با معماری Hopper انویدیا فراهم می‌کند. نرخ توان پردازش آن به‌طور میانگین ۴٫۹۴ برابر و در برخی سناریوها تا ۶٫۴۲ برابر سریع‌تر از مدل Qwen3.5-4B است و در پردازش تکدرخواستی با ورودی و خروجی ۱۲۸ هزار توکن، به‌سرعت خروجی ۲۳۳٫۷ توکن در ثانیه می‌رسد.
5. ارزیابی ماژول‌ها و آزمایش تفکیکی: نتایج بررسی‌ها نشان می‌دهند که با غیرفعال کردن قابلیت RMA، دقت مدل در پاسخگویی به پرسش‌های پیرامون متن‌های طولانی از ۹۴٫۱ درصد به تنها ۰٫۴ درصد کاهش می‌یابد که نقش تعیینکننده این نوآوری را اثبات می‌کند.

چرا این دستاورد اهمیت دارد؟

مدل EdgeRock گزین‌های متن‌باز و کارآمد به‌جای مکانیزم‌های متداول کش حافظه است که با طولانی‌تر شدن متن حجمشان مدام بزرگ‌تر می‌شود؛ مزیتی حیاتی که مسیر را برای توسعه ایجنت‌های خودکار با فرایندهای طولانی، پردازش مستقیم روی دستگاه‌های مصرفی و سرویسدهی هم‌زمان به انبوهی از کاربران هموار می‌کند.

کاربردها

نحوه آزمایش و دسترسی

1. وزن‌های مدل را از پایگاه Hugging Face بارگیری کرده و دستورالعمل‌های اجرای مدل را در مخزن GitHub پروژه دنبال کنید.
2. از این مدل می‌توانید در وظایف پیچیده استدلال، برنامه‌نویسی و گردش کارهای مبتنی بر ایجنت‌ها که طول زمینه مدام رشد می‌کند استفاده کنید و حافظه اختصاصیافته به هر توالی را به‌عنوان مقداری کاملاً ثابت (حدود ۹۸ مگابایت به‌علاوه وزن‌های مدل) در نظر بگیرید.
3. پیش از مقایسه عملکرد با مدل‌های متداول ۴ میلیارد پارامتری با توجه کامل، گزارش فنی پروژه را برای مشاهده فرمول‌های محاسبه حافظه، بنچمارک‌ها و ارزیابی‌های دقیق RMA مطالعه نمایید.