راهنمای مفاهیم کلیدی مدل‌های زبانی به زبان ساده؛ از وزن‌ها و کوانتیزاسیون تا کش KV

با پیشرفت سریع سخت‌افزارهای اختصاصی برای اجرای محلی مدل‌های هوش مصنوعی، مانند پردازنده RTX Spark شرکت انویدیا، موجی از اصطلاحات، مخفف‌ها و تعاریف فنی تازه وارد این حوزه شده است. سرعت بالای عرضه مدل‌های جدید سبب شده است تا آشنایی با این مفاهیم برای درک اخبار و تحولات دنیای هوش مصنوعی بیش از هر زمان دیگری ضرورت پیدا کند.

این راهنمای کاربردی نقطه شروع بسیار مناسبی برای ورود به دنیای هوش مصنوعی به‌شمار می‌رود و هنگام مطالعه اخبار جدید یا دانلود و شخصی‌سازی مدل‌ها روی رایانه شخصی به کمکتان می‌آید. در این مطلب، تمرکز اصلی بر مفاهیم بنیادین مرتبط با مدل‌های زبانی بزرگ (LLM) متنی، یعنی همان ابزارهای چت، کدیارها و عامل‌های هوشمند است.

مدل (Model)

شاید ساده‌ترین مفهوم برای شروع، خود مفهوم مدل باشد. مدل در واقع همان مدل زبانی بزرگ (LLM) است که از دل مجموعه‌داده‌های آموزشی متنی در مقیاس ترابایت تا پتابایت استخراج و محاسبه می‌شود. این اطلاعات آموزشی از سراسر اینترنت، کتاب‌ها، متن فایل‌های صوتی و تصویری و منابع گسترده دیگر گردآوری شده‌اند.

می‌توان مدل را مجموعه‌ای از لایه‌های فوق‌پیشرفته آماری دانست که روابط میان توکن‌ها (Tokens) را تحلیل می‌کنند. توکن‌ها در حقیقت کلمات، بخش‌هایی از کلمات، کدهای برنامه‌نویسی، علائم نگارشی یا نمادهای دیگر هستند. خود توکن‌ها جزئی از ساختار مدل به‌شمار نمی‌روند، اما همراه با آن بسته‌بندی می‌شوند و مدل هوش مصنوعی در نهایت خروجی خود را در قالب همین توکن‌ها تولید می‌کند.

وزن‌ها (Weights)

لایه‌های پردازشی درون مدل هوش مصنوعی بدون وزن‌ها (Weights) کاملاً بی‌فایده خواهند بود. وزن‌ها نشان‌دهنده شدت و میزان استحکام پیوند میان بخش‌های مختلف توکن‌ها هستند؛ درست شبیه به مسیرهای عصبی در مغز که برخی از آن‌ها پرترددتر و قوی‌تر از بقیه شکل می‌گیرند. هنگام اجرای مدل، همین مقادیر عددی تعیین می‌کنند که توکن‌ها چگونه به یکدیگر ارتباط پیدا کنند.

برای نمونه، وزن پیوند میان بخش «na» با بخش‌های بعدی در کلماتی مانند «naval»، «nachos» یا «naruto» کاملاً متفاوت است. هرچه وزن یک پیوند بالاتر باشد، نشان‌دهنده تکرار بیشتر آن واژه در داده‌های آموزشی است. نکته مهم اینجاست که این وزن‌ها بدون آموزش مجدد کل مدل یا بخش‌هایی از آن، هرگز تغییر نمی‌کنند.

در مشخصات فنی مدل‌های زبانی عباراتی مانند «4B»، «8B» یا «20B» به چشم می‌خورد. این اعداد بیانگر تعداد پارامترها یا همان وزن‌های مورد استفاده در مدل هستند. این شاخص در مدل‌های مناسب کاربران عادی برحسب میلیارد و در مدل‌های پیشرو مانند مدل‌های خانواده GPT، Claude و Kimi برحسب تریلیون سنجیده می‌شود.

باید توجه داشت که تعداد وزن‌های بیشتر یک مدل لزوماً به‌معنای هوشمندی بالاتر آن نیست. درست مانند فرکانس پردازنده مرکزی (CPU)، صرفاً بالا بودن یک عدد تضمین‌کننده عملکرد بهتر نخواهد بود؛ اگرچه اندازه بزرگ‌تر معمولاً مزیت دارد، اما مسئله اصلی کیفیت و معنادار بودن این وزن‌ها در تولید خروجی دقیق است.

احتمالاً اصطلاح مدل‌های وزن‌باز (Open-weight) در برابر مدل‌های بسته (Closed) را نیز شنیده‌اید. مدل‌های وزن‌باز مانند Llama، DeepSeek و Kimi به‌صورت رایگان عرضه می‌شوند، چراکه سازندگانشان فایل‌های حاوی وزن‌ها را در اینترنت منتشر می‌کنند. در صورت در اختیار داشتن سخت‌افزار مناسب، کاربران می‌توانند این وزن‌ها را به دلخواه بازتنظیم کرده و نسخه‌های اختصاصی خود را بسازند. البته دانلود این فایل‌های رایگان چیزی درباره نحوه دقیق آموزش مدل یا چگونگی محاسبه اولیه وزن‌ها آشکار نمی‌کند؛ درست مانند دریافت یک نرم‌افزار رایگان و قابل شخصی‌سازی که نباید آن را با پروژه‌ای کاملاً متن‌باز اشتباه گرفت.

انواع داده و کوانتیزاسیون (Quantization)

عناوینی نظیر FP16، INT8 یا FP4 شاید شبیه به رمزبندی‌های پیچیده به‌نظر برسند، اما مفهوم آن‌ها بسیار ساده است. تمام برنامه‌های رایانه‌ای بسته به نیاز خود، از اعدادی با دقت و پهنای بیت متفاوت استفاده می‌کنند؛ برای مثال، یک شمارنده سکه در یک بازی رایانه‌ای با یک عدد صحیح ۳۲ بیتی (INT32) به‌خوبی کار می‌کند، درحالی که محاسبات دقیق یک اندازه‌گیری آزمایشگاهی به اعداد اعشاری ۶۴ بیتی با ممیز شناور (FP64) نیاز دارد.

حافظه همواره منبعی محدود و ارزشمند است و مهندسان تلاش می‌کنند از کوچک‌ترین قالب‌های ممکن استفاده نمایند؛ موضوعی که در دنیای حافظه گرافیکی (VRAM) پردازنده‌های گرافیکی اهمیتی دوچندان دارد. این تراشه‌ها با ایجاد تعادل میان سرعت پردازش و دقت محاسباتی، عملکرد بسیار مطلوبی در پردازش داده‌هایی با دقت پایین‌تر پیدا کرده‌اند. هیچ قالب داده‌ای به‌خودی‌خود بهتر یا بدتر نیست و ارزش آن با نوع کاربرد سنجیده می‌شود.

آزمایشگاه‌های هوش مصنوعی هنگام آموزش اولیه مدل تلاش می‌کنند بالاترین دقت ممکن را برای وزن‌ها به کار ببرند، اما حفظ این دقت بسیار بالا در نسخه نهایی باعث سنگین شدن بیش از حد و افت چشمگیر سرعت پاسخ‌دهی مدل می‌شود. اینجاست که مفهوم کوانتیزاسیون (Quantization) وارد میدان می‌شود که در واقع اصطلاحی تخصصی برای «گرد کردن هوشمندانه اعداد» است. در فرایند پس از آموزش، محاسبات متعددی برای تبدیل وزن‌های فوق‌دقیق به قالبی فشرده‌تر انجام می‌گیرد. هر آزمایشگاه روش اختصاصی و محرمانه خود را برای این مرحله به کار می‌برد، زیرا این فرایند تأثیر مستقیمی بر کارایی نهایی دارد.

مدل‌های پیشرو معمولاً برای حفظ کیفیت، ظرافت‌ها و قدرت استدلال، از دقت‌های نسبتاً بالایی مانند BF16 در وزن‌های خود بهره می‌برند؛ شبیه به اینکه تصمیم بگیرید دقت موقعیت‌یاب مکانی شما در حد چند متر باشد یا چند سانتی‌متر. در سوی دیگر، مدل‌های وزن‌باز در نسخه‌های گوناگون با سطوح مختلف کوانتیزاسیون منتشر می‌شوند تا با توان سخت‌افزاری کاربران هماهنگ شوند؛ به‌عنوان مثال، مدل Llama 3.3 70B هم در نسخه کامل BF16 و هم در نسخه‌های فشرده‌شده INT4 قابل اجرا است.

هرچه دقت اعداد پایین‌تر باشد، شانس اجرای روان مدل روی سخت‌افزارهای کاربری بیشتر خواهد بود. مدل‌های ارائه‌شده در پلتفرم Hugging Face معمولاً سطوح مختلفی از کوانتیزاسیون را در اختیارتان می‌گذارند تا با قربانی کردن بخش اندکی از دقت، حجم مدل کاهش یابد. مدل‌های سبک با استفاده از قالب‌های داده‌ای کوچک‌تر، امکان اجرا روی کامپیوترهایی مانند Mac Studio، پردازنده گرافیکی RTX Spark یا کارت‌های گرافیک معمولی را به‌دست می‌آورند.

پنجره زمینه (Context Window)

پنجره زمینه (Context Window) اصطلاح پرکاربرد دیگری است که شاید بارها آن را در رابط کاربری ابزارهایی مانند Claude Code دیده باشید؛ معیاری که نشان می‌دهد یک جلسه گفتگو چقدر می‌تواند ادامه یابد پیش از آنکه ربات دچار افت کیفیت و فراموشی شود. این پنجره برحسب توکن اندازه‌گیری می‌شود و رقم یک میلیون توکن امروزه در مدل‌های پیشرو بسیار متداول است؛ مفهومی که شباهت بسیار زیادی به حافظه رم (RAM) در رایانه دارد.

پنجره زمینه در واقع فضای تفکر مدل زبانی است و باید تمام اطلاعات مرتبط با گفتگوی جاری را، فراتر از آخرین سؤال شما، در خود نگه دارد. این فضا علاوه بر پرسش‌ها و پاسخ‌های ردوبدل‌شده، حاوی دستورالعمل‌های سیستمی (System Prompts)، فایل‌های بارگذاری‌شده، محتوای پیوندهای بررسی‌شده و سایر اطلاعات مرتبط است.

نکته اساسی اینجاست که در نگاه کاربر هرکدام از این موارد ماهیتی جداگانه دارند، اما برای مدل زبانی تمام این ورودی‌ها صرفاً به توکن‌هایی یکدست در یک مخزن واحد، یعنی همان پنجره زمینه، تبدیل می‌شوند. به همین دلیل از نظر فنی تفکیک کامل «داده» از «کد» در مدل‌های زبانی ناممکن است و پیشرفته‌ترین سیستم‌ها تنها قادر به ایجاد تمایزی تقریبی میان آن‌ها هستند.

مدل‌های زبانی مانند انسان فکر نمی‌کنند؛ آن‌ها هنگام پاسخ به یک سؤال جدید، یک برنامه محاسباتی آماری را روی تمام توکن‌های موجود اجرا کرده و کلمات بعدی را پیش‌بینی می‌کنند. به همین دلیل، داشتن پنجره زمینه بزرگ‌تر با وجود مصرف بالاتر حافظه گرافیکی، مزیتی بزرگ است. با این حال، الگوریتم‌های آماری نیز محدودیت‌های خاص خود را دارند.

حتی اگر این پنجره را به سه میلیون توکن افزایش دهید، ممکن است متوجه شوید که پیش‌بینی‌های مدل پیش از پر شدن ظرفیت حافظه دچار اختلال می‌شوند. این پدیده را اصطلاحاً اثر گم‌شدن در میانه متن (Lost in the Middle) می‌نامند؛ وضعیتی که در آن ربات هوش مصنوعی به بخش‌های ابتدایی و انتهایی گفتگو به‌خوبی توجه می‌کند اما نکات مطرح‌شده در بخش‌های میانی را از یاد می‌برد. از این رو، هر مدل باید متناسب با ظرفیت دقیق پنجره زمینه خود بازتنظیم شود.

کش KV (حافظه موقت کلید-مقدار)

اگر به دنبال اجرای محلی مدل‌های زبانی یا استفاده از پردازنده‌های ابری رفته باشید، بارها نام کش KV (مخفف Key-Value Cache) را شنیده‌اید؛ حافظه موقتی که باید بخشی از حافظه VRAM یا حتی در صورت اجبار، فضای درایو SSD پرسرعت را به آن اختصاص داد. این داده‌ها هنگام اجرای مدل تولید می‌شوند و نکته کلیدی اینجاست که در طول پرسش‌های متوالی در همان جلسه گفتگو قابلیت استفاده مجدد دارند.

داده‌هایی که در این حافظه ذخیره و بازخوانی می‌شوند، در حقیقت نمایانگر ارتباطات محاسباتی میان توکن‌ها در جلسه فعلی هستند. برای مثال، جمله‌ای مانند «you're right to push back» به چند توکن کوچک‌تر شکسته می‌شود. پیوندهای محاسباتی میان هر توکن شامل برداری از مقادیر کلید و مقدار (KV) است که برای تصمیم‌گیری درباره انتخاب توکن بعدی به کار می‌رود.

از آنجا که تولید متن فرایندی خطی است، فرمول ریاضی برای تولید هر توکن جدید نیازمند تمام مقادیر KV توکن‌های پیش از خود است. بنابراین در مکالمات پیوسته، بازخوانی این مقادیر از حافظه کش مانع از محاسبه مجدد و سنگین آن‌ها با تولید هر کلمه جدید می‌شود.

مدل زبانی صرفاً به آخرین پرسش پاسخ نمی‌دهد، بلکه کل تاریخچه گفتگو را از ابتدا تا انتها تحلیل می‌کند تا توکن‌های جدید را به‌دست آورد. در یک گفتگوی طولانی با ۳۰۰ هزار توکن، نبود کش KV به‌معنای محاسبه مجدد تمام روابط توکن‌های پیشین خواهد بود؛ عملیاتی بسیار زمان‌بر که با طولانی‌تر شدن گفتگو، سرعت را به‌شدت کاهش می‌دهد. مقاله تحلیلی گلن لاکوود نمونه‌ای جامع از این سازوکار را شرح داده است.

مفهوم کوانتیزاسیون در اینجا نیز کاربرد دارد؛ مدل‌های امروزی دقت مقادیر ذخیره‌شده در کش KV را اندکی کاهش می‌دهند تا در ازای افت بسیار جزئی در خروجی، مصرف حافظه گرافیکی را مهار کنند. در مکالمات طولانی با پنجره‌های زمینه بزرگ، کش KV حتی ممکن است فضایی به‌مراتب بیشتر از خود مدل و فایل‌های وزنی اشغال کند.

معماری ترکیب متخصصان (MoE)

در گذشته شرکت‌های هوش مصنوعی به تعداد بالاتر پارامترها در جدیدترین مدل‌های خود افتخار می‌کردند، اما رقابت کنونی به سمت گنجاندن تعداد بیشتری از متخصصان در دل یک مدل واحد تغییر جهت داده است. شاید این عنوان تصویری از دانشمندانی کوچک درون یک آزمایشگاه را در ذهن تداعی کند که هرکدام مسئول پاسخگویی به یک موضوع خاص هستند، اما سازوکار واقعی متفاوت است.

معماری ترکیب متخصصان (MoE) در حقیقت مجموعه‌ای از زیرمدل‌های تعبیه‌شده در دل مدل اصلی است. در آغاز آموزش، همه زیرمدل‌ها دادگان یکسانی دریافت می‌کنند، اما مقداردهی اولیه وزن‌های هرکدام اندکی با دیگری تفاوت دارد. هر زیرمدل ارزش متفاوتی برای توکن‌ها قائل می‌شود و به‌دلیل فرایند تقویت الگوها در طول آموزش، توکن‌های مرتبط به سمت هم همگرا می‌شوند و در نهایت زیرمدل‌هایی متخصص در دسته‌های معینی از توکن‌ها شکل می‌گیرند.

یک باور اشتباه و متداول این است که این متخصصان به موضوعات خاصی نظیر برنامه‌نویسی مربوط می‌شوند؛ در حالی که آن‌ها صرفاً روابط میان توکن‌ها را درک می‌کنند و درک مفهومی از موضوع ندارند. اینکه یک متخصص بتواند به سؤالات پیرامون نقاشی طبیعت پاسخ‌های مناسبی بدهد، یک پیامد اتفاقی خوشایند در آموزش است، نه قابلیتی که از پیش برنامه‌ریزی شده باشد.

شاید تصور کنید این شیوه باعث سنگین‌تر شدن مدل می‌شود و استفاده از یک مدل یکپارچه عمومی منطقی‌تر است. این فرضیه تا حدی درست است، اما رمز موفقیت اینجاست که در زمان اجرا تنها متخصصان منتخبی فعال می‌شوند؛ یعنی فقط بخشی از مدل به پردازش می‌پردازد که نتیجه آن سرعتی بسیار بالاتر نسبت به مدل‌های سنتی است.

انتخاب این متخصصان به‌صورت توکن به توکن توسط یک سامانه مسیریاب انجام می‌شود. برای تجسم بهتر، می‌توانید الگوی اسکن مغزی را تصور کنید که در آن با شنیدن کلمات مختلف، بخش‌های گوناگونی از مغز فعال می‌شوند. در عمل، این شیوه پاسخگویی دقیق‌تر و سریع‌تری را رقم می‌زند، هرچند که نیازمند ظرفیت بالاتری از حافظه گرافیکی است.

تولید با بازیابی افزوده (RAG)

مفهوم RAG (مخفف Retrieval-Augmented Generation) تعریفی بسیار ساده اما کاربردی فوق‌العاده قدرتمند دارد. به زبان ساده: برنامه چت شما چند جستجوی اینترنتی انجام می‌دهد، نتایج را به مدل تحویل می‌دهد و در نتیجه، حجم بزرگی از اطلاعات تازه و معتبر برای پاسخگویی به سؤال شما در دسترس قرار می‌گیرد. این اطلاعات جانبی می‌توانند شامل اسناد شرکتی، گزارش‌ها، ایمیل‌ها، فایل‌های اکسل یا هر داده دیگری باشند که کاربر در اختیار سیستم می‌گذارد و مستقیماً به توکن‌های درون پنجره زمینه تبدیل می‌شوند.

بسیاری از برنامه‌های چت امروزی به قابلیت جستجو مجهز هستند، اما فعال‌سازی فرایند RAG، که معمولاً با روشن کردن گزینه جستجوی وب یا حالت‌های تفکر عمیق انجام می‌شود، به برنامه دستور می‌دهد تا داده‌های موثق و مورد نیاز را از منابع بیرونی استخراج کند. با توجه به اینکه داده‌های زمینه غنی کلید اصلی پاسخگویی دقیق به پرسش‌ها هستند، این فناوری یکی از اثرگذارترین ابزارهای موجود به‌شمار می‌رود.

نکته جالب این است که عبارات مورد جستجو معمولاً توسط یک مدل کوچک‌تر و اختصاصی ساخته می‌شوند؛ مدلی که تصمیم می‌گیرد چه عباراتی بهترین نتایج وب را به‌همراه دارند یا درون حساب کاربری سازمانی دقیقاً به دنبال چه اسنادی باید گشت.

نقطه ضعف اصلی این سازوکار، نیاز بسیار بالا به منابع پردازشی است؛ چراکه متن پرسش و پاسخ ممکن است فقط ۱۰ هزار توکن مصرف کند، اما اطلاعات صفحات وب بازیابی‌شده به‌تنهایی صدها هزار توکن را به خود اختصاص می‌دهند. برای نمونه، موتور جستجوی Perplexity با تمرکز ویژه بر معماری RAG توسعه یافته است و با وجود استفاده از همان مدل‌های پایه رایج، به‌دلیل بازیابی عمیق اطلاعات زمینه، پاسخ‌هایی بسیار آگاهانه‌تر و دقیق‌تر تولید می‌کند.

استنتاج، پیش‌پرکردن و کدگشایی (Inference, Prefill and Decode)

استنتاج (Inference) به فرایند استفاده از یک مدل آموزش‌دیده برای تولید خروجی یا همان توکن‌ها گفته می‌شود. این فرایند با هر بار ارسال دستور (Prompt) آغاز می‌شود و تمام سازوکارهای پیش‌گفته را به خدمت می‌گیرد. استنتاج به دو فاز اصلی تقسیم می‌شود: پیش‌پرکردن (Prefill) و کدگشایی (Decode).

پیش‌پرکردن (Prefill) نخستین گام در استنتاج است. در این مرحله، تمام تاریخچه ورودی یا متن دستور شما به توکن تبدیل شده و به‌صورت موازی توسط مدل پردازش می‌شود؛ دادگانی که می‌تواند شامل متون طولانی، اسناد و کدهای برنامه‌نویسی باشد. این ورودی‌ها تعیین می‌کنند که چه داده‌هایی باید در کش KV قرار گیرند. به‌دلیل پردازش هم‌زمان و موازی در این گام، سرعت پیش‌پرکردن معمولاً بسیار بالا است.

این فاز بخش عمده‌ای از بار پردازشی را برای سنجش شاخص «زمان لازم تا تولید اولین توکن» (TTFT) به خود اختصاص می‌دهد. شاخص TTFT یکی از بنچمارک‌های اصلی در ارزیابی تراشه‌های پردازشی است که معمولاً در کنار تعداد توکن‌های پیش‌پرشده در هر ثانیه گزارش می‌شود. بدیهی است که دستورهای طولانی‌تر نیازمند زمان پیش‌پرکردن بیشتری هستند.

کدگشایی (Decode) فاز دوم فرایند استنتاج است. پس از آنکه مرحله پیش‌پرکردن ورودی‌ها را تحلیل کرد و کش KV شکل گرفت، مدل خروجی خود را توکن به توکن و به‌صورت پیاپی می‌سازد. بر خلاف فاز نخست، این مرحله نمی‌تواند به‌صورت موازی انجام پذیرد، چراکه تعیین هر توکن منوط به مشخص شدن توکن قبلی است. مرحله کدگشایی به‌شدت وابسته به پهنای باند حافظه است؛ زیرا فراخوانی مداوم توکن‌ها از میان وزن‌ها و خواندن کش KV نیازمند سرعت بالای انتقال داده در حافظه است، نه صرفاً قدرت خام محاسباتی تراشه. سرعت این فاز عموماً با معیار «توکن بر ثانیه» (TPS) اندازه‌گیری می‌شود.

روش کدگشایی حدسی (Speculative Decode) تکنیکی خلاقانه برای افزایش سرعت جریان توکن‌ها در مرحله کدگشایی بدون تغییر در کیفیت نهایی است. در این شیوه، یک موتور پیش‌نویس کوچک چند توکن بعدی را حدس می‌زند و سپس مدل اصلی این حدس‌ها را در یک مرحله موازی اعتبارسنجی می‌کند. اگر حدس‌ها درست باشند، توکن‌ها با هزینه محاسباتی بسیار پایینی تأیید می‌شوند و در صورت اشتباه بودن، توسط مدل اصلی کنار گذاشته شده و توکن صحیح جایگزین می‌شود.

راهکار پیش‌بینی چندتوکنی (Multi-token prediction یا MTP) نیز می‌کوشد به‌جای تولید انفرادی توکن‌ها، چند توکن بعدی را به‌طور هم‌زمان پیش‌بینی کند. این سازوکار که در طول دوره آموزش در معماری مدل گنجانده می‌شود، می‌تواند به‌عنوان موتور پیش‌نویس در کدگشایی حدسی ایفای نقش کند.

آشنایی با این مفاهیم بنیادین تصویری روشن‌تر از سازوکار پیچیده مدل‌های زبانی بزرگ ارائه می‌دهد و کمک می‌کند هنگام انتخاب سخت‌افزار یا کار با ابزارهای هوش مصنوعی، تصمیمات هوشمندانه‌تری بگیرید.