معرفی HogLake؛ فرمت متن‌باز PostHog برای مدیریت داده‌ها در مقیاس پتابایت

مقدمه

HogLake یک فرمت جدول متن‌باز و سرویس کاتالوگ لیک‌هاوس در مقیاس پتابایت است که توسط شرکت تحلیل محصول PostHog توسعه یافته است. این پروژه در تاریخ ۲ نوامبر ۲۰۲۶ با انتشار مطلبی تخصصی با عنوان «چرا انبار داده خود را از DuckDB منتقل می‌کنیم» به‌صورت عمومی معرفی شد و کدهای منبع آن در مخزن PostHog/hoglake در GitHub در دسترس همگان قرار گرفته است.

حدود پنج ماه پیش از این تاریخ، PostHog انبار داده مدیریت‌شده خود را بر پایه ترکیب DuckDB و DuckLake بازطراحی کرده بود؛ اما با رشد داده‌ها و رسیدن حجم اطلاعات به ۲ پتابایت، ۱ تریلیون سطر و ۱۵٫۳ میلیون اسنپ‌شات، عملیات نوشتن در یک جدول گاهی بیش از سه دقیقه زمان می‌برد و حجم آمارهای کاتالوگ نیز پیوسته روی هم انباشته می‌شد. در پی این شرایط، تیم توسعه PostHog به نسخه اختصاصی خود از Trino به‌همراه HogLake مهاجرت کرد و اکنون تمامی کلاینت‌های جدید Trino به‌شکل خودکار از HogLake استفاده می‌کنند.

ویژگی‌های کلیدی معماری

• ارائه کاتالوگ در قالب سرویس: تمامی دستورات SQL کاتالوگ در سمت سرور و پشت یک رابط REST API اجرا می‌شوند؛ بنابراین کلاینت‌ها هیچ‌گونه ارتباط یا دسترسی مستقیمی با پایگاه داده متادیتا ندارند.
• استفاده از Postgres به‌عنوان تنها بخش متادیتا: اطلاعات اسنپ‌شات‌ها، تغییرات ساختاری جدول‌ها (Schema Evolution)، فایل‌های داده و آمارها به‌صورت سطر در پایگاه داده Postgres نگهداری می‌شوند، در حالی که داده‌های اصلی در قالب فایل‌های بهینه Parquet درون حافظه ابری قرار دارند.
• محدود شدن اعمال تغییرات به داده‌های تغییریافته: هر عملیات ثبت تغییرات دقیقاً معادل یک اسنپ‌شات است و هزینه پردازشی آن با افزایش ابعاد کلی کاتالوگ بالا نمی‌رود.
• بردارهای حذف برای پاک‌سازی در سطح سطر: به‌ازای هر فایل داده، یک بردار فعال برای مدیریت حذف سطرها تعریف شده است.
• مدیریت و نگهداری مستقل سمت سرور: فرآیندهای یکپارچه‌سازی فایل‌ها، انقضای اسنپ‌شات‌های قدیمی و پاک‌سازی سیستم، به‌صورت وظایف پس‌زمینه توسط خود سرور انجام می‌شوند.
• قابلیت سفر در زمان: امکان بازیابی وضعیت‌های گذشته داده‌ها، ردیابی لحظه‌ای تغییرات، ثبت متریک‌های Prometheus و دسترسی به لاگ‌های کامل ممیزی سیستم.

مقایسه با DuckLake و Iceberg

بخش‌های تشکیل‌دهنده

این بستر از یک سرور بر پایه زبان Kotlin و فریمورک Ktor، کتابخانه پایتون با نام pyhoglake، یک افزونه ویژه DuckDB، کنسول تحت وب مبتنی بر React و دیمن همگام‌سازی hedgerow تشکیل شده است.

کاربردها و موارد استفاده

• تیم‌های مدیریت لیک‌هاوس در مقیاس ترابایت تا پتابایت که با گلوگاه‌های پردازشی تک‌نودی یا افت کارایی کاتالوگ در DuckLake روبه‌رو هستند.
• معماری‌هایی که به‌دنبال متمرکزسازی مدیریت متادیتا در Postgres با یک سرویس واحد هستند تا از رقابت و تداخل هم‌زمان کلاینت‌ها جلوگیری شود.
• پروژه‌هایی که از موتور Trino برای اجرای پرس‌وجوهای توزیع‌شده استفاده می‌کنند و هم‌زمان به دسترسی محلی برای خواندن و نوشتن از طریق DuckDB احتیاج دارند.

راهنمای شروع کار

1. یادداشت فنی وبلاگ PostHog در آدرس posthog.com/blog/moving-off-duckdb را برای آشنایی با جزئیات دقیق این مهاجرت مطالعه کنید.
2. مخزن PostHog/hoglake را از GitHub کلون کرده و سرویس Postgres را به‌همراه سرور اختصاصی HogLake راه‌اندازی نمایید.
3. عملیات خواندن و نوشتن جدول‌های Parquet را از طریق کانکتور Trino، افزونه DuckDB یا کتابخانه pyhoglake انجام دهید.
4. کاربران سرویس ابری PostHog: انبارهای داده جدید به‌طور خودکار به HogLake متصل می‌شوند و پشتیبانی از کاتالوگ‌های قبلی DuckLake نیز کماکان ادامه خواهد داشت.