چرا دیپ‌سیک گاهی در متن‌های طولانی گیج می‌زند؟ کشف غافلگیرکننده پژوهشگران بایت‌دنس

پژوهشگران تیم تحقیقاتی «سید» (Seed) در شرکت بایت‌دنس (ByteDance) موفق شدند راز یکی از عجیب‌ترین رفتارهای مدل‌های هوش مصنوعی دیپ‌سیک (DeepSeek) را کشف کنند: چرا این مدل‌ها در بازیابی اطلاعات از دل متن‌های طولانی دچار نوسان و رفتارهای ضد و نقیض می‌شوند؟ بررسی‌های این تیم نشان داده که ریشه ماجرا به روش فشرده‌سازی کَش قطعه‌ای (Chunked KV-Cache Compression) برمی‌گردد؛ مکانیزمی که باعث می‌شود دقت مدل بسته به موقعیت کلمات درون پنجره فشرده‌سازی، تا ۴۰ درصد تغییر کند و نوسان داشته باشد.

مدل‌های زبانی بزرگ برای مدیریت متن‌های طولانی و کاهش بار پردازشی و مصرف رم، معمولاً گروهی از توکن‌های متوالی را فشرده کرده و در تعداد کمتری ورودی کَش ذخیره می‌کنند. با این حال، پژوهشگران دریافتند که همین ترفند مهندسی پدیده‌ای نادیده گرفته‌شده به نام «حساسیت به فاز» (Phase Sensitivity) ایجاد می‌کند؛ وضعیتی که در آن دسترسی مدل به یک داده مشخص، فقط به این بستگی دارد که آن کلمه کجای پنجره فشرده‌سازی جا خوش کرده باشد! به این ترتیب، جابه‌جا شدن جای کلمه حتی به اندازه چند توکن ساده می‌تواند تعیین کند که مدل به آن اطلاعات دسترسی پیدا می‌کند یا نه.

محققان با بازتولید این رفتار در مدل‌هایی که از صفر آموزش داده شده بودند، متوجه شدند بخش‌های مختلف مکانیزم توجه (Attention) به‌طور نامتقارن برای بازیابی اطلاعات از فازها و جایگاه‌های خاصی تخصص پیدا کرده‌اند. این پژوهش زنگ خطری جدی برای ارزیابی مدل‌ها به حساب می‌آید، چرا که نشان می‌دهد نتایج درخشان در بنچمارک‌های میانگین می‌توانند نقاط ضعف دوره‌ای و باگ‌های تکرارشونده مدل‌ها در متن‌های طولانی را به‌راحتی پنهان کنند. علاقه‌مندان می‌توانند جزئیات کامل این دستاورد فنی را در مقاله پژوهشی تیم سید در آرکایو (arXiv) مطالعه کنند.