تولید موازی خروجی JSON با موتور Qwen-2.5-1B-RLCD؛ افزایش ۷ برابری سرعت در Apple Silicon

یک توسعه‌دهنده مستقل، موتور استنتاج Qwen-2.5-1B-RLCD را با لایسنس Apache 2.0 برای استخراج و طبقه‌بندی ساختاریافته روی پردازنده‌های Apple Silicon منتشر کرده است. این موتور با بهره‌گیری از فریم‌ورک MLX، چندین فیلد JSON را به‌صورت موازی در یک حافظه پنهان (Cache) مشترک امتیازدهی می‌کند و بدین ترتیب، از تولید ترتیبی توکن‌ها که معمولاً برای ساخت یک شیء داده‌ای نیاز است، جلوگیری می‌کند. این روش نیازی به فاین‌تیون (Fine-tuning) ندارد و صرفاً بر اساس لوجیت‌های (Logits) موجود مدل کار می‌کند که در واقع امتیازهای مدل برای توکن‌های بعدی هستند.

این پیاده‌سازی، طرح‌هایی (Schemas) را هدف قرار می‌دهد که مقادیر آن‌ها از مجموعه‌های ثابت مانند مقادیر بولی (Booleans) و دسته‌بندی‌ها به دست می‌آیند. اگرچه نام این پروژه به مدل‌های یک میلیارد پارامتری اشاره دارد، اما پیکربندی و بنچمارک‌های منتشرشده از مدل mlx-community/Qwen2.5-1.5B-Instruct-4bit استفاده می‌کنند.

چرا رمزگشایی سنتی JSON کند است؟

حالت معمول تولید JSON و رمزگشایی مبتنی بر گرامر، همچنان ساختاری خودهمبسته (Autoregressive) دارند؛ به این معنی که هر توکنِ تولیدشده به توکن‌های قبلی وابسته است. هر مرحله از این فرآیند، مدل را دوباره فراخوانی می‌کند و از حافظه پنهان توجه (Attention Cache) آن می‌خواند؛ در نتیجه، تأخیر سیستم با افزایش طول نام فیلدها، مقادیر، علائم نگارشی و سایر خروجی‌های متوالی افزایش می‌یابد.

بنابراین، یک طرح داده‌ای با ۲۸ فیلد می‌تواند به صدها مرحله رمزگشایی متوالی نیاز داشته باشد، حتی اگر هر مقدار متعلق به یک مجموعه کوچک از برچسب‌های از پیش‌شناخته‌شده باشد. اگرچه رمزگشایی کنترل‌شده می‌تواند جلوی تولید توکن‌های نامعتبر را بگیرد، اما همچنان شیء داده‌ای را توکن به توکن می‌سازد.

موتور Qwen-2.5-1B-RLCD با هر فیلد به عنوان یک مسئله طبقه‌بندی برخورد می‌کند. با داشتن یک مجموعه از پیش‌تعیین‌شده، این موتور به مقادیر مجاز امتیاز می‌دهد و گزینه‌ای که بالاترین رتبه را دارد انتخاب می‌کند. سپس، فرآیند مونتاژ برنامه‌نویسی‌شده شیء JSON را بدون نیاز به تولید آکولادها، کلیدها، ویرگول‌ها یا گیومه‌ها توسط مدل، ایجاد می‌کند.

یک حافظه پنهان و چندین شاخه پردازشی