توافق گوگل، مایکروسافت و OpenAI؛ روشی مشترک در robots.txt برای جلوگیری از آموزش مدل‌ها با محتوای وب

• گوگل، مایکروسافت، OpenAI و Anthropic اعلام کرده‌اند که از یک دستور مشترک در فایل robots.txt برای انصراف وب‌سایت‌ها از آموزش مدل‌های هوش مصنوعی پشتیبانی خواهند کرد.
• این سازوکار جدید صرفاً نحوه استفاده از محتوا را تعیین می‌کند نه دسترسی ربات‌ها به خزش صفحات؛ هم‌چنین به‌صورت پیش‌فرض آموزش را مجاز می‌داند و اثری بر داده‌های جمع‌آوری‌شده قبلی ندارد.
• شرکت Anthropic اجرای این سازوکار را آغاز کرده است، OpenAI آن را در ماه‌های آینده فعال می‌کند، مایکروسافت و گوگل اجرای آن را به سال ۲۰۲۷ موکول کرده‌اند و متا نیز با وجود استقبال، هنوز تعهدی نداده است.

گوگل و مایکروسافت به جمع OpenAI و Anthropic پیوسته‌اند و متعهد شده‌اند از یک خط کد مشترک در فایل robots.txt پشتیبانی کنند؛ کدی که به توسعه‌دهندگان هوش مصنوعی اطلاع می‌دهد آیا محتوای یک وب‌سایت مجاز به استفاده در آموزش مدل‌ها است یا خیر.

تا پیش از این، مدیر هر وب‌سایتی که تمایل نداشت محتوایش برای آموزش هوش مصنوعی به کار رود، مجبور بود برای تک‌تک خزنده‌های شرکت‌های مختلف و حتی ربات‌های متعددِ متعلق به یک شرکت، قوانینی جداگانه بنویسد. این سیگنال مشترک طراحی شده است تا به‌جای آن دستورالعمل‌های پراکنده و پیچیده، یک ورودی واحد قرار دهد که تمامی ارائه‌دهندگان حاضر در طرح، آن را به یک شکل بخوانند و اجرا کنند.

این تصمیم گامی مثبت برای مدیران وب‌سایت‌ها به‌شمار می‌رود، اما دامنه این تعهد بسیار محدودتر از چیزی است که در رسانه‌ها بازتاب یافته است. خط کد جدید تنها ترجیح صاحب سایت درباره نحوه استفاده از محتوا را اعلام می‌کند و جلوی بارگیری و خزش صفحات توسط ربات‌ها را نمی‌گیرد؛ این راهکار هنوز استانداردی رسمی به حساب نمی‌آید، هیچ کمکی به داده‌هایی که تاکنون جمع‌آوری شده‌اند نمی‌کند و در حال حاضر نیز هیچ‌یک از این چهار غول فناوری آن را به‌صورت کامل پیاده‌سازی نکرده‌اند.

حداقل تعهدات و تعاریف متناقض شرکت‌ها از اجرای این سازوکار

اگرچه اطلاعیه شرکت OpenAI توجه زیادی را به خود جلب کرد، اما این شرکت خود را تنها یکی از اعضای حاضر در ابتکار کارگروه مهندسی اینترنت (IETF) معرفی می‌کند و این سازوکار نیز ابداع مستقیم آن نیست. این راهکار در واقع از یک پیش‌نویس اینترنتی سرچشمه می‌گیرد که در همان روز توسط کوین کلی (Kevin Kelley) از شرکت Anthropic منتشر شد. در این سند، یک نشانگر سیاستی با عنوان «__usage_ai-training» در سطر User-Agent درون یک گروه معمولی از فایل robots.txt تعریف شده است.

کارگروه «ترجیحات هوش مصنوعی» (AIPREF) در IETF آموزش را فرآیند تغییر پارامترهای یاد‌گیری یک مدل مولد تعریف کرده است؛ تعریفی که مدل‌های مورد استفاده برای وظایف صرفاً دسته‌بندی یا رتبه‌بندی را شامل نمی‌شود. با این حال، OpenAI آنچه را که به آن متعهد خواهد بود «آموزش هوش مصنوعی مولد بنیادین» می‌نامد که به نظر می‌رسد دامنه‌ای محدودتر از تعریف موجود در پیش‌نویس داشته باشد.

نامیدن این طرح به‌عنوان یک استاندارد رسمی هنوز زود است؛ چراکه سامانه رهگیری IETF این سند را صرفاً یک پیش‌نویس فردی معرفی می‌کند که مورد تأیید رسمی این سازمان قرار نگرفته و فاقد جایگاه حقوقی و استانداردی است. هم‌چنین این پیش‌نویس در صورتی که بازبینی نشود، در تاریخ ۳ مه ۲۰۲۷ منقضی خواهد شد.

در میان چهار شرکت اصلی، تنها Anthropic اعلام کرده که اجرای این قابلیت را آغاز نموده است. OpenAI قصد دارد طی ماه‌های آینده این سیگنال را به کار گیرد اما تاریخ دقیقی مشخص نکرده است. مایکروسافت اعلام کرده رعایت این اولویت مشترک در خزش صفحات را از ۱ فوریه ۲۰۲۷ آغاز می‌کند و گوگل نیز بازه زمانی سال ۲۰۲۷ را هدف قرار داده است.

نحوه پیاده‌سازی این دستور در تنظیمات داخلی هر شرکت نیز متفاوت است. گوگل اعلام کرده در صورتی که سایتی از نشانگر مشترک برای انصراف استفاده کند اما توکن اختصاصی Google-Extended را مشخص نکرده باشد، با آن به گونه‌ای برخورد خواهد کرد که گویی دسترسی Google-Extended مسدود شده است. از آنجا که Google-Extended دسترسی داده‌ها برای استناد در پاسخ‌های برنامه Gemini را نیز مدیریت می‌کند، سایتی که تنها می‌خواهد جلوی آموزش مدل‌ها را بگیرد ممکن است ترافیک و لینک‌های ارجاعی خود را در پاسخ‌های Gemini از دست بدهد. وب‌سایت Search Engine Journal نیز یادآور شده که در مستندات گوگل، راهکاری برای تفکیک این دو مورد ارائه نشده است.

جالب اینجاست که مایکروسافت رویکردی کاملاً متفاوت در پیش گرفته است؛ این شرکت سطر مشترک را برای آموزش می‌پذیرد، اما تنظیم جداگانه‌ای در سطح صفحه برای ارجاع محتوا (AI Grounding) اضافه کرده است. این قابلیت شامل گزینه DisallowExtended می‌شود که محتوا را برای سرویس‌های داخلی مایکروسافت نظیر Copilot در دسترس نگه می‌دارد، اما آن را از سرویس‌های ارجاعی که به شرکت‌های تجاری دیگر می‌فروشد، محروم می‌کند.

متا که عضوی از این ائتلاف چهارگانه نیست، رویکرد ملایم‌تری نسبت به گذشته در پیش گرفته است. اندی استون (Andy Stone)، نایب‌رئیس ارتباطات متا، این سیگنال مشترک را «گامی مهم» خواند، اما گزارش‌ها حاکی از آن است که این شرکت هنوز متعهد به رعایت آن نشده است. این موضوع از نظر زمانی در موقعیت حساسی رخ می‌دهد؛ چراکه متا پس از اعتراض شدید تولیدکنندگان محتوا مجبور شد کلمه آموزش را از کاربردهای مجاز حذف کند و اجرای شرایط تجاری جدید خود را برای خزش سایت‌های متصل به حساب‌های تجاری، تا ۲۰ نوامبر به تعویق بیندازد.

با وجود حذف نام آموزش، این فعالیت صراحتاً ممنوع نشده است و به گفته سم کویگلی (Sam Quigley) از اتحادیه اخبار و رسانه‌ها، «این احتمال هنوز روی میز باقی مانده است.»

انصراف از استخراج داده‌های هوش مصنوعی؛ امیدی واهی یا گامی رو به جلو؟

بخش عمده‌ای از گزارش‌های خبری این قابلیت را راهکاری برای جلوگیری کامل از استخراج محتوا معرفی کرده‌اند، اما در عمل چنین نیست.

در متن پیش‌نویس به صراحت آمده است: «این نشانگر سیاستی دستوری برای رفتار خزش ربات‌ها نیست.» ربات‌ها همچنان می‌توانند به جمع‌آوری تمام صفحات وب ادامه دهند و این پیش‌نویس صرفاً به خزنده‌ای که داده‌ها را منحصراً برای آموزش گردآوری می‌کند اجازه می‌دهد از صفحاتی که امکان استفاده از آنها را ندارد صرف‌نظر کند. متوقف کردن خزنده‌ها همچنان نیازمند همان قوانینی است که وب‌سایت‌ها امروزه برای هر ربات به‌صورت مجزا تنظیم می‌کنند؛ به همین دلیل است که OpenAI، گوگل و Anthropic همگی تأکید دارند کنترل‌های پیشین پابرجا خواهند بود. مایکروسافت این واقعیت را شفاف‌تر بیان می‌کند: «این تنظیمات استفاده از محتوا را مدیریت می‌کنند، نه دسترسی به خزش صفحات را.»

این نکات دقیقاً در شرایطی اهمیت مضاعف پیدا می‌کنند که پذیرش این تعهد کاملاً اختیاری است، برداشت‌ها و وعده‌ها در میان بازیگران مختلف تفاوت دارد و ریسک‌های حقوقی برخی از آنها بسیار سنگین‌تر از بقیه است.

نشریه نیویورک تایمز در دسامبر ۲۰۲۳ از OpenAI و مایکروسافت شکایت کرد و هر دو شرکت در دفاعیات خود به اصل استفاده منصفانه متوسل شده‌اند. شرکت Anthropic که یکی از مهندسانش نویسنده این پیش‌نویس است، برای حل‌وفصل دعاوی نویسندگان درباره استفاده از کتاب‌های نقض کپی‌رایت‌شده در آموزش مدل‌هایش با پرداخت ۱٫۵ میلیارد دلار غرامت موافقت کرد و شرکت Penske Media، مالک مجله رولینگ استون، در سال ۲۰۲۵ از گوگل به‌دلیل ابزار AI Overviews شکایت کرد.

علاوه بر این، کارایی این سیستم به تمایل داوطلبانه خزنده‌ها برای پایبندی وابسته است؛ ضمن اینکه پیش‌نویس اجازه می‌دهد توافق‌های خصوصی بر این قانون ارجحیت پیدا کنند. از سوی دیگر، در سال ۲۰۲۵ شرکت Cloudflare ابزار Perplexity را متهم کرد که هویت خزنده‌هایش را برای استخراج داده از سایت‌های مسدودکننده پنهان کرده است؛ اتهامی که Perplexity آن را رد کرد.

شاید بتوان گفت جایگاه مایکروسافت در این ائتلاف از همه پیچیده‌تر است. در سال ۲۰۲۴، مصطفی سلیمان (Mustafa Suleyman)، مدیر بخش هوش مصنوعی مایکروسافت، محتوای وب آزاد را به منزله منابع رایگان برای آموزش دانست و تنها سایت‌هایی را مستثنی کرد که صراحتاً مخالفت خود را اعلام کنند؛ رویکردی که سیگنال کنونی عملاً همان استثنا را رسمی می‌کند. علاوه بر این، اسناد افشاشده در دادگاه نیویورک تایمز نشان می‌دهد که برنت هکت (Brent Hecht)، یکی از مدیران مایکروسافت، در یک یادداشت داخلی در سال ۲۰۲۳ استخراج داده توسط هوش مصنوعی را به‌عنوان احتمالی برای «بزرگ‌ترین سرقت دسترنج نیروی کار در تاریخ بشر» توصیف کرده بود.

در این میان، بازار کلان به‌جای درخواست‌های محترمانه، به سوی اقدامات اجرایی جدی و دریافت هزینه حرکت کرده است. شرکت Cloudflare از ژوئیه ۲۰۲۵ به‌صورت پیش‌فرض دسترسی خزنده‌های هوش مصنوعی را برای مشتریان جدید مسدود می‌کند و به سایت‌ها امکان می‌دهد به ازای هر بار خزش، از آنها هزینه دریافت کنند. گوگل نیز می‌گوید این نشانگر مشترک با دستورالعمل‌های اتحادیه اروپا برای هوش مصنوعی عام مطابقت دارد؛ قانونی که فایل robots.txt را ابزار اصلی و خوانا برای ماشین جهت انصراف ناشران می‌شناسد. این موضوع نشان می‌دهد فشارهای قانونی، و نه فقط حسن نیت، غول‌های فناوری را به سازش واداشته است. برای ربات‌هایی هم که فایل robots.txt را به‌کلی نادیده می‌گیرند، گزینه‌های سخت‌گیرانه‌تری مانند الزام به ورود کاربر یا محدودسازی نرخ درخواست‌های آی‌پی (IP Rate Limiting) مطرح است.

در حال حاضر، توافق بزرگ‌ترین شرکت‌های هوش مصنوعی برای رعایت یک خط کد مشترک، گامی مثبت برای خزنده‌های قانون‌مند و مدیران وب‌سایت‌ها محسوب می‌شود؛ اما این دستور در عمل صرفاً یک درخواست محترمانه است نه یک قفل نفوذناپذیر. این راهکار تنها نگاه به آینده دارد و هیچ غرامتی برای داده‌های گذشته که ناشران سال‌ها برای دریافت هزینه آنها مبارزه کرده‌اند، به‌همراه نخواهد داشت.