تبدیل کدهای جاوا اسکریپت به شبکه‌های عصبی بدون نیاز به آموزش با کامپایلر Handwired

کامپایل مستقیم جاوا اسکریپت به شبکه‌های عصبی بدون آموزش با Handwired

پروژه Handwired یک آزمایش متن‌باز و هیجان‌انگیز است که برنامه‌های پشتیبانی‌شده جاوا اسکریپت را به شبکه‌های عصبی با وزن‌های ثابت و تعیین‌شده توسط کامپایلر تبدیل می‌کند. شبکه عصبی خروجی، منطق اصلی برنامه را با استفاده از عملیات تانسوری و تابع‌های فعال‌سازی ReLU بازسازی می‌کند؛ روی جاوا اسکریپت معمولی یا WebGPU اجرا می‌شود و هیچ نیازی به چرخه آموزش (Training Loop) یا حتی کارت گرافیک ندارد.

چنگ لو (Cheng Lou)، مهندس برجسته‌ای که قبلاً عضو تیم اصلی ری‌اکت (React) بود، این پروژه را به عنوان یک «کامپایلر آزمایشی» برای کشف نقاط اشتراک برنامه‌نویسی سنتی و محاسبات مشتق‌پذیر (Differentiable Computation) معرفی کرده است. خروجی این کامپایلر برای ورودی‌های معتبر کاملاً قطعی و بدون خطا باقی می‌ماند، در حالی که ساختار تانسوری آن اجازه می‌دهد از تمام ابزار‌های قدرتمند دنیای شبکه‌های عصبی مثل مشتق‌گیری خودکار (Automatic Differentiation)، ترکیب کرنل‌ها (Kernel Fusion)، ماتریس‌های خلوت (Sparsity) و زمان‌بندی بهینه روی پردازنده‌های گرافیکی نهایت استفاده را ببرید.

تبدیل شاخه‌ها و دستورات شرطی به گیت‌های ReLU

ابزار Handwired جریان کنترل برنامه (مانند if-else) را با محاسبه تمام حالت‌های ممکن و سپس انتخاب خروجی درست با گیت‌های حسابی، به یک جریان داده عددی تبدیل می‌کند. در فایل توضیحات (README) این پروژه، این تکنیک با یک عبارت شرطی معادل a > 4 ? 10 : 12 به زیبایی نشان داده شده است:

const a = 5
// ReLU(x) is Math.max(0, x)
const isAbove4 =
  Math.max(0, a - 4) - Math.max(0, a - 5)

// Compute both outcomes, then select one
const result =
  isAbove4 * 10 + (1 - isAbove4) * 12

در این مثال، برای ورودی‌های عدد صحیح (Integer)، متغیر isAbove4 زمانی که a حداکثر برابر با 4 باشد مقدار 0 و زمانی که a حداقل 5 باشد مقدار 1 می‌گیرد. کامپایلر هر دو مسیر شرط را محاسبه می‌کند و سپس گیت مورد نظر، خروجی لازم را انتخاب می‌کند. البته ورودی‌های بین 4 و 5 مقادیر اعشاری تولید می‌کنند؛ بنابراین دقت ریاضی این رابطه به محدوده اعداد صحیحی وابسته است که در سناریوی مثال در نظر گرفته شده است.