گوگل به جمع OpenAI و Anthropic پیوست؛ استاندارد جدید برای جلوگیری از استخراج محتوا در آموزش هوش مصنوعی

دستورالعمل جدید در فایل robots.txt مانع از استخراج و جمع‌آوری محتوای وب‌سایت‌ها توسط شرکت‌های بزرگ فناوری برای آموزش مدل‌های هوش مصنوعی مولد خواهد شد.

گوگل، Anthropic، OpenAI و مایکروسافت متعهد شده‌اند که از دستورالعمل جدیدی در فایل robots.txt تبعیت کنند؛ استانداردی که به ناشران و صاحبان وب‌سایت‌ها اجازه می‌دهد ترجیحات و شروط خود را درباره استخراج محتوایشان با هدف آموزش هوش مصنوعی مولد مشخص کنند. این شرکت‌ها تصمیم گرفته‌اند از پیشنهادی پیروی کنند که در کارگروه مهندسی اینترنت (IETF)، سازمان استانداردهای باز اینترنت، در حال بررسی است و توسط کوین کلی (Kevin Kelley)، مدیر فنی استانداردها در Anthropic، تدوین شده است.

همان‌طور که OpenAI و گوگل در بیانیه‌های خود توضیح دادند، در حال حاضر مدیران وب‌سایت‌ها ناچارند خزنده‌های هر شرکت را به‌طور جداگانه شناسایی کرده و برای هر ارائه‌دهنده قوانین مجزایی بنویسند. طرح پیشنهادی کوین کلی این فرآیند را متحول می‌کند و باعث می‌شود چندین شرکت فعال در حوزه هوش مصنوعی، یک سیگنال واحد و مشترک را به رسمیت بشناسند و به آن احترام بگذارند. ناشران برای اعمال این محدودیت، باید یک عامل کاربری (User-Agent) جدید را ویژه آموزش هوش مصنوعی در فایل robots.txt تعریف کنند که ساختاری شبیه به نمونه زیر دارد:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

این دستور خزنده‌هایی را که مشخصاً برای گردآوری داده جهت آموزش هوش مصنوعی طراحی شده‌اند، مسدود می‌کند. با این حال، بخش «Allow» به مدیران وب‌سایت‌ها امکان می‌دهد استخراج داده برای آموزش هوش مصنوعی را برای بخش‌های خاصی از سایت، مانند کیت مطبوعاتی، مجاز کنند. این شناسه کاربری جدید مانع از خزش کلی سایت یا عدم نمایش محتوا در نتایج جستجوی گوگل نمی‌شود؛ برای نمونه، گوگل این دستور را مشخصاً به منزله تابلوی توقف برای ربات Google-Extended در نظر می‌گیرد که صفحات وب را برای آموزش مدل‌های Gemini استخراج می‌کند.

نکته مهم دیگر این است که دستورالعمل مذکور نمی‌تواند داده‌هایی را که این شرکت‌ها در گذشته استخراج کرده‌اند بازگرداند یا پاک کند؛ بنابراین اگر صفحه‌ای پیش از این خزش شده باشد، محتوای آن در پایگاه داده شرکت‌ها ذخیره شده است. این سازوکار صرفاً مانع از استخراج وب‌سایت‌ها یا صفحات مشخص در آینده خواهد شد. شرکت Anthropic پیش از این پشتیبانی از دستور جدید را آغاز کرده است، در حالی که مایکروسافت اعلام کرده اجرای آن را از ۱ فوریه ۲۰۲۷ آغاز می‌کند. گوگل نیز از آغاز پشتیبانی خود در اوایل سال ۲۰۲۷ خبر داده و OpenAI متعهد شده است که این سیگنال مشترک را طی ماه‌های آینده پیاده‌سازی کند.