روش نوین OT-RED ادغام مدل‌های هوش مصنوعی در بیمارستان‌ها را تنها با یک بار ارسال ممکن می‌کند

ادغام مدل‌های توزیع‌شده ترکیب متخصصان تنها با یک بار ارسال

آموزش توزیع‌شده مدل‌های ترکیب متخصصان (Mixture of Experts یا MoE) زمانی که داده‌ها میان بیمارستان‌ها، حسگرها یا پایگاه‌های داده مشمول قوانین سخت‌گیرانه پراکنده باشند، به چالشی بزرگ تبدیل می‌شود. اکنون تیم پژوهشگران در یک مقاله پژوهشی در پلتفرم arXiv، روشی نوآورانه برای تجمیع مدل‌ها به نام OT-RED پیشنهاد کرده‌اند که مدل‌های MoE آموزش‌دیده به‌صورت مستقل را تنها پس از یک بار ارسال پارامترها از سوی هر سیستم محلی، با یکدیگر ترکیب می‌کند. به این ترتیب، داده‌های آموزشی و نتایج آن‌ها می‌توانند کاملاً در محل اولیه باقی بمانند و دست‌نخورده حفظ شوند، در حالی که سرور مرکزی تقریبی سراسری از مدلی را می‌سازد که گویی روی تمام داده‌های تجمیع‌شده آموزش دیده است.

این پژوهش بر مدل‌های کلاسیک و آماری ترکیب متخصصان (MoE) تمرکز دارد؛ ساختاری که در آن چندین متخصص رگرسیون بخش‌های متفاوتی از فضای ورودی را مدل‌سازی می‌کنند و یک تابع دریچه‌ای سافتمکس (Softmax Gating Function) هر ورودی را به متخصص مربوطه تخصیص می‌دهد. برای ورودی x و خروجی y، مدل شرطی به فرم p(y|x) = Σ_k π_k(x)f_k(y|x) تعریف می‌شود. در این رابطه، هر π_k(x) یک دریچه وابسته به ورودی است و هر f_k توزیع متخصص یا مدل رگرسیون را مشخص می‌کند.

چرا میانگین‌گیری سنتی ساختار مدل را به هم می‌ریزد؟

میانگین‌گیری ساده روی مؤلفه‌ها (مختصات به مختصات) بر این فرض استوار است که مختصات یکسان، اجزای متناظر یکسانی را توصیف می‌کنند. اما مدل‌های آمیخته (Mixture Models) این فرض را نقض می‌کنند؛ چراکه تابع درست‌نمایی آن‌ها با جابجایی و تغییر برچسب‌های اجزا تغییری نمی‌کند. در نتیجه، دو سیستم محلی ممکن است ساختارهای کاملاً یکسانی را یاد بگیرند، اما شماره‌های متفاوتی را به متخصصان متناظر نسبت دهند.

• تداخل برچسب‌ها (Label switching): متخصص شماره ۱ در یک دستگاه ممکن است معادل متخصص شماره ۳ در دستگاه دیگر باشد؛ موضوعی که باعث می‌شود یک میانگین‌گیری ساده، رگرسیون‌های کاملاً نامرتبط را با یکدیگر ترکیب کند.
• دریچه‌های وابسته به ورودی (Input-dependent gates): از آنجا که وزن‌های آمیخته متناسب با x تغییر می‌کنند، روش‌هایی که برای مدل‌های نامشروط طراحی شده‌اند، اطلاعات مربوط به قلمرو عملکرد هر متخصص را از دست می‌دهند.