بازنویسی زیرساخت گیت‌هاب برای ایجنت‌های هوش مصنوعی؛ ثبت رکورد ۷۲۰۰ پوش در ثانیه با Rubicon

گیت‌هاب در حال بازنویسی اساسی بخش ذخیره‌سازی گیت است تا بتواند مخازنی را که توسط هزاران ایجنت کدنویسی با سرعت سرسام‌آور ماشین به‌روزرسانی می‌شوند، مدیریت کند. این معماری جدید که با نام مستعار Rubicon شناخته می‌شود، در آزمایش‌های داخلی گیت‌هاب توانست به رکورد ۷۲۰۰ پوش در ثانیه دست یابد و هم‌زمان از فعالیت ۵۰۰۰ ایجنت روی یک مخزن واحد پشتیبانی کند، در حالی که تاخیر خواندن داده‌ها کاملاً پایدار باقی ماند.

ورود پوش‌ها با سرعت ماشین

شلوغ‌ترین مخازن گیت‌هاب در گذشته حداکثر چند ده عملیات نوشتن در ثانیه دریافت می‌کردند که معمولاً در قالب جهش‌های مقطعی رخ می‌داد. جریان‌های کاری انسانی تمایل دارند تا واحدهای کاری تکمیل‌شده را به گیت ارسال کنند؛ اما ایجنت‌های کدنویسی هوش مصنوعی پس از هر مرحله کوچک اقدام به ثبت کامیت و پوش می‌کنند. این رفتار ترافیک مداومی از نوشتن داده‌ها ایجاد می‌کند که بسیار فراتر از مفروضات اولیه سیستم ذخیره‌سازی فعلی گیت‌هاب است.

علاوه بر این، هر پوش به‌نوبه خود ترافیک خواندن سنگینی را فعال می‌کند؛ چراکه مجریان یکپارچه‌سازی مداوم (CI)، سیستم‌های استقرار، اسکنرهای کد و سایر ایجنت‌ها بلافاصله برای دریافت اشیای جدید اقدام می‌کنند. طبق اعلام گیت‌هاب، حجم عملیات نوشتن در این پلتفرم نسبت به سال گذشته ۴٫۹ برابر افزایش یافته و این موضوع فشار مضاعفی بر هر دو مسیر خواندن و نوشتن درخواست‌ها وارد کرده است.

وابستگی خواندن به حدنصاب نوشتن در معماری Spokes

بخش پشتیبان پیشین گیت‌هاب با نام Spokes، نسخه‌های کاملی از مخزن را روی چندین دیسک محلی نگهداری می‌کرد. در آن سیستم، پروتکل تعهد سه‌مرحله‌ای نیازمند آن بود که حدنصابی از نسخه‌های کپی هر عملیات نوشتن را تأیید کنند، در حالی که همان نسخه‌ها باید به درخواست‌های زنده گیت نیز پاسخ می‌دادند. در نتیجه، افزودن نسخه‌های کپی هرچند ظرفیت خواندن را بالا می‌برد، اما میزان هماهنگی لازم برای عملیات نوشتن را نیز به‌شکل چشمگیری افزایش می‌داد.

کاهش اجماع به مدیریت یک اشاره‌گر واحد

معماری تشریح‌شده در گزارش فنی گیت‌هاب، اشیای تغییرناپذیر گیت را از ارجاعات تغییرپذیر تفکیک می‌کند. کامیت‌ها، ساختارهای درختی و داده‌ها به فضای Azure Blob Storage منتقل می‌شوند و در همین حال، یک سرویس تکثیرشده اختصاصی با نام Ref-CAS هماهنگی به‌روزرسانی اشاره‌گرهای شاخه‌ها و برچسب‌ها را بر عهده می‌گیرد.

1. دریافت پوش: یک نسخه کپی مجازی درخواست گیت ارسال‌شده از سمت کلاینت را دریافت می‌کند.
2. ذخیره اشیای تغییرناپذیر: این نسخه مجازی، کامیت‌ها، درخت‌ها و داده‌ها را در سرویس Azure Blob Storage ثبت می‌کند که لایه ذخیره‌سازی آن دوام و تکثیر اطلاعات را تضمین می‌نماید.
3. به‌روزرسانی ارجاع: سرویس Ref-CAS تغییرات را در اشاره‌گر مربوطه، مانند refs/heads/main، ثبت می‌کند.
4. فشرده‌سازی در پس‌زمینه: گره‌های محاسباتی مجزا فایل‌های بسته‌بندی را یکپارچه‌سازی و بهینه‌سازی می‌کنند تا گیت بتواند اشیا را با بیشترین بازدهی ذخیره و جابه‌جا کند.

اشیای گیت مبتنی بر محتوا آدرس‌دهی می‌شوند؛ به این معنا که شناسه هر شیء از دل محتوای آن به دست می‌آید و پس از ایجاد، هرگز تغییر نمی‌کند. بنابراین هزاران ایجنت می‌توانند بدون نیاز به مذاکره بر سر مالکیت یا ترتیب زمانی، به‌صورت هم‌زمان اشیای خود را ذخیره کنند.

در نقطه مقابل، ارجاعات گیت نیازمند هماهنگی دقیق هستند؛ زیرا نام‌هایی تغییرپذیر به‌شمار می‌روند که به شناسه‌های اشیا اشاره می‌کنند. سرویس Ref-CAS از سازوکار مقایسه و جایگزینی استفاده می‌کند و به‌روزرسانی را تنها در صورتی می‌پذیرد که مقدار فعلی ارجاع با مقدار مورد انتظار مطابقت داشته باشد. اگر دو ایجنت برای جلو بردن شاخه main رقابت کنند، هر دو نمی‌توانند یک تغییر یکسان را اعمال نمایند؛ بدین ترتیب، این سرویس نظم زمانی را حفظ و تداخل‌ها را شناسایی می‌کند، بدون آنکه انتقال داده‌های سنگین وارد فرآیند اجماع شود.

نسخه‌های کپی مجازی از دیسک‌های محلی به‌عنوان حافظه موقت استفاده می‌کنند و جایگزینی آن‌ها بدون از دست رفتن داده‌های پایدار مخزن امکان‌پذیر است. گیت‌هاب می‌تواند بدون بزرگ‌تر کردن حلقه اجماع ارجاعات، نسخه‌های مجازی جدیدی را برای پاسخ به ترافیک خواندن اضافه کند؛ این قابلیت امکان مقیاس‌پذیری مستقل منابع محاسباتی و ذخیره‌سازی را فراهم می‌آورد.

نتایج بنچمارک‌ها و محدودیت‌های عملیاتی

گیت‌هاب نتایج زیر را از آزمایش‌های داخلی خود گزارش داده است. این آمارها بیانگر بنچمارک‌های کنترل‌شده و اهداف طراحی هستند و تعهدنامه سطح خدمات عملیاتی به‌شمار نمی‌آیند:

• افزایش توان نوشتن داده‌ها تا ۳۵ برابر نسبت به معماری پیشین.
• پشتیبانی از فعالیت هم‌زمان ۵۰۰۰ ایجنت هوش مصنوعی روی یک مخزن واحد.
• ثبت حداکثر ۷۲۰۰ پوش در ثانیه روی یک مخزن.
• پایداری کامل تاخیر خواندن در حین آزمایش فشار شدید عملیات نوشتن.
• هدف‌گذاری تیم فنی برای افزایش حداقل ۱۰۰ برابری مقیاس‌پذیری روی هر مخزن.

تداوم کارکرد کلاینت‌های فعلی بدون تغییر

کلاینت‌های گیت همچنان از همان پروتکل ارتباطی و مفاهیم بنیادین مخزن به‌همراه سازوکارهای حفاظتی فعلی استفاده خواهند کرد. این دگرگونی زیرساختی، ظرفیت وب‌سایت GitHub.com را افزایش می‌دهد بدون آنکه فریمورک‌های ایجنت، سیستم‌های CI یا ایستگاه‌های کاری توسعه‌دهندگان نیازی به پیاده‌سازی رابط‌های برنامه‌نویسی جدید کنترل نسخه داشته باشند.

الگوهای پردازشی که به‌روزرسانی‌ها را میان شاخه‌های گوناگون پخش می‌کنند، بیشترین بهره را از این مقیاس‌پذیری خواهند برد:

• ناوگان ایجنت‌هایی که مرتباً نقاط بازبینی خود را به شاخه‌های مجزا در یک منوریپو پوش می‌کنند.
• سیستم‌های استقرار، یکپارچه‌سازی مداوم و پویش کد که هر کامیت تازه را دریافت و بررسی می‌نمایند.
• صف‌های ادغام که حجم بالایی از درخواست‌های ادغام را پردازش می‌کنند.
• فریمورک‌های ایجنتی که از دستور git push به‌عنوان یک مرحله بازرسی دوره‌ای بهره می‌برند.

چالش ترافیک سنگین روی شاخه‌های پرتقاضا

معماری Rubicon یک زیرساخت داخلی برای سرورهای GitHub.com است و هنوز بسته‌ای برای نسخه‌های سلف‌هاست یا اختصاصی آن معرفی نشده است. در زمان انتشار این خبر، گیت‌هاب در حال اجرای پیش‌نمایش خصوصی محدودی بود و برای عرضه گسترده‌تر آن در اوایل سال آینده میلادی برنامه‌ریزی می‌کرد.

ارجاعات مشترک همچنان نقاط هماهنگی متوالی به‌شمار می‌آیند. هر به‌روزرسانی تاییدشده روی شاخه اصلی مانند main باید مقدار قبلی را مدنظر قرار دهد؛ بنابراین ارسال هم‌زمان تغییرات توسط هزاران ایجنت مستقیماً به این شاخه، رقابت و صف‌های سنگین ایجاد خواهد کرد. راهکارهایی مانند اختصاص یک شاخه مجزا به هر ایجنت، این تراکم کاری را توزیع می‌کند و صف‌های ادغام نیز به‌روزرسانی‌های نهایی را به‌صورت منظم مرتب می‌سازند.

جداسازی فضای ذخیره‌سازی از توان پردازشی، بخش‌های عملیاتی جدیدی مانند سرویس ذخیره‌سازی فایل، نسخه‌های کپی مجازی، سامانه Ref-CAS، لایه‌های کش و فرآیندهای فشرده‌سازی را به ساختار اضافه می‌کند. گیت‌هاب باید ضمن حفظ یکپارچگی این سرویس‌ها، مهاجرت مخازن را در بستری کاملاً زنده و بدون وقفه پایش و اجرا کند.

تغییر محاسبات زیرساخت با ورود گیت ماشینی

طرح Rubicon به‌خوبی نشان می‌دهد که چگونه فعالیت ایجنت‌های هوش مصنوعی، زیرساخت‌های کنترل نسخه را دستخوش تغییر می‌کند؛ جایی که پوش‌ها به نقاط بازبینی مداوم تبدیل می‌شوند و هر عملیات نوشتن، چندین عملیات خواندن به دنبال دارد. طراحی این معماری محتوای تغییرناپذیر را در فضای ذخیره‌سازی مقیاس‌پذیر اشیا قرار می‌دهد، هماهنگی را به ارجاعات تغییرپذیر محدود می‌سازد و بخش‌های پردازشگر پاسخگو به درخواست‌ها را به اجزایی قابل جایگزینی تبدیل می‌کند.

توسعه‌دهندگانی که واسط میان ایجنت‌ها و سیستم‌های گیت را طراحی می‌کنند، باید برای نرخ‌های بالای ارسال مکرر داده‌ها، تشدید بار خواندن و تداخل روی شاخه‌های مشترک برنامه‌ریزی دقیقی داشته باشند. الگوی اشیای مبتنی بر محتوا در گیت از موازی‌سازی گسترده پشتیبانی می‌کند؛ با این حال، ارجاعات همچنان گلوگاه اصلی به حساب می‌آیند که تعیین می‌کنند چه حجمی از کارهای هم‌زمان می‌توانند در یک مسیر مشترک توسعه به هم بپیوندند.