دردسر تازه واترمارک مخفی متنها: چرا ردپای هوش مصنوعی، احتمال توهم و دروغبافی را بالا میبرد؟
تحقیقات جدید پژوهشگران نشان میدهد تلاش برای افزودن واترمارک مخفی به متنهای هوش مصنوعی، احتمال بروز توهم و تحریف ناخواسته فکتها را بهطور محسوسی بالا میبرد. این پدیده غیرمنتظره، توسعهدهندگان مدلهای زبانی را در برابر یک دوراهی بسیار سخت میان شفافیت و دقت اطلاعات قرار داده است.

در یک نگاه (نکات کلیدی خبر)
خلاصه مهمترین نکات و تحولات این گزارش برای مطالعه سریع
- تحقیقات جدید فاش کرده که واترمارکگذاری مخفی متون هوش مصنوعی که برای شناسایی محتوای ماشینی استفاده میشود، شانس توهم و سوتیهای فکتچک مدلها را بالا میبرد.
- بررسی ۶ متد مطرح واترمارک از جمله SynthID گوگل نشان میدهد دستکاری آماری واژهها برای کاشتن ردپا، میتواند بدون افت روانی متن، ارقام و تاریخها را ناخواسته تحریف کند.
- این کشف مهندسان و غولهای هوش مصنوعی را سر یک دوراهی سخت گذاشته تا راهی برای ردیابی خروجیها بدون فدا کردن دقت اطلاعاتی پیدا کنند.

این روزها تب و تاب استفاده از «واترمارک متنی» در دنیای هوش مصنوعی حسابی داغ شده و سازندگان مدلهای زبانی بزرگ (LLM) به دنبال راهی هستند تا ردپایی مخفی در خروجیهای هوش مصنوعی مولد بکارند تا تشخیص محتوای ماشینی از انسانی آسانتر شود. اما ماجرا به این سادگیها نیست؛ تحقیقات جدید نشان میدهد این فرآیند با یک پیچش پیشبینینشده و نگرانکننده همراه شده است: واترمارکگذاری شانس بروز «توهم هوش مصنوعی» (AI Hallucinations) را بهطور محسوسی بالا میبرد! بله، باور کنید یا نه، همین تلاشهای فنی برای مخفی کردن ردپای دیجیتال در لابهلای واژهها، خودش به عاملی برای دروغبافی و خطای مدلها تبدیل شده است.
احتمالاً میدانید که توهم هوش مصنوعی کابوس همیشگی سازندگان و کاربران هوش مصنوعی مولد است. توهم زمانی رخ میدهد که مدل به درخواست شما پاسخی از خودش درمیآورد که هیچ پایه و اساس واقعی ندارد. مثلاً فرض کنید از چتبات بپرسید جشن هالووین هر سال چه تاریخی برگزار میشود و مدل با اطمینان کامل بگوید ۱۳ اکتبر (در حالی که تاریخ درست ۳۱ اکتبر است!). در این حالت هوش مصنوعی یک حقیقت ساختگی و خیالی تحویلتان داده است. حالا به نظر میرسد واترمارکهای متنی با دستکاری ناخواسته در فرآیند تولید واژهها، این معضل قدیمی را پیچیدهتر و حتی خطرناکتر کردهاند.
بیایید این ماجرا را دقیقتر موشکافی کنیم و ببینیم چطور یک فناوری امنیتی که قرار بود حلال مشکلات باشد، خودش دارد به یک دردسر تازه تبدیل میشود.
چرا واترمارکگذاری متن کار فوقالعاده سختی است؟
پیش از هر چیز، بیایید مبانی واترمارک را مرور کنیم. همه ما با مفهوم واترمارک روی اسناد کاغذی و اشیای فیزیکی آشنا هستیم؛ مثلاً اسکناسهای دلار دارای نشانههای مخفی هستند که با چشم غیرمسلح یا زیر نور ماوراءبنفش اصل بودن آنها را از تقلبی نشان میدهند. برخی واترمارکها نیز کاملاً پنهاناند و فقط با ابزارهای تخصصی قابل شناسایی هستند.
در دنیای دیجیتال، اضافه کردن واترمارک به عکسها و فایلهای گرافیکی کار نسبتاً سادهتری است. مهندسان میتوانند صفر و یکهای مخفی را در قالب بیتهای تصویر جاسازی کنند، بدون اینکه ظاهر عکس برای چشم انسان تغییری کند. به کمک الگوریتمهای پیچیده ریاضی، این بیتها طوری چیده میشوند که فقط کسی که کلید رمزگشایی یا الگوریتم را در اختیار دارد، میتواند متوجه الگوی مخفی شود.
اما واترمارکگذاری متنهای دیجیتال یک چالش کاملاً متفاوت و بینهایت دشوارتر است! هر دستکاری کوچکی در متن میتواند واژگان را تغییر دهد و کل معنی جمله را به هم بریزد. فرض کنید الگوریتمی بیاید و به جای حروف اضافه، یک کلمه بیربط مثل «اسب» را جاگذاری کند؛ شاید حضور پرتکرار این کلمه ثابت کند متن کار هوش مصنوعی است، اما آن متن برای انسان دیگر کاملاً مضحک و بیمعنی خواهد بود! از طرفی اگر بخواهید از کاراکترهای مخفی یا ایموجیها استفاده کنید، کاربر به راحتی متوجه آنها میشود و میتواند در یک چشمبههمزدن پاکشان کند.
واترمارک متنی دقیقاً چطور کار میکند؟
یک راهکار فوقالعاده هوشمندانه برای واترمارکگذاری، دستکاری احتمالات در جریان تولید کلمات توسط هوش مصنوعی است. ماجرا از این قرار است: مدلهای زبانی هنگام پاسخ دادن، کلمات را توکن به توکن و یکی پس از دیگری انتخاب میکنند. در هر گام، مدل فهرستی از محتملترین واژهها را پیش روی خود دارد و بر اساس احتمالات آماری دست به انتخاب میزند.
تصور کنید از هوش مصنوعی بپرسید چطور یک ساندویچ درست کند. مدل کلمه به کلمه جمله را میچیند و ممکن است به این خروجی برسد: «یک تکه گوشت را روی نان بیگل بگذارید و سس خردل اضافه کنید». هر کلمه به نوبت از ابتدای جمله تا انتها انتخاب شده است.
وقتی نوبت به نوع نان میرسد، گزینه اول و دارای بیشترین احتمال آماری شاید «نان بیگل» باشد. اما گزینههای محتمل دیگری هم در جدول احتمالات مدل وجود دارد؛ مثل «نان تافتون» (گزینه دوم)، «نان سبوسدار» (گزینه سوم) یا «نان باگت» (گزینه چهارم). در حالت عادی، مدل بالاترین گزینه یعنی همان «نان بیگل» را انتخاب میکند.
اما در دنیای واترمارکگذاری، مهندسان مدل را طوری تنظیم میکنند که عمداً به سراغ گزینه دوم برود! در نتیجه جمله اینطور نوشته میشود: «یک تکه گوشت را روی نان تافتون بگذارید و سس خردل اضافه کنید». اگر هوش مصنوعی در طول متن طبق یک قاعده خاص، مرتباً به جای گزینه اول سراغ گزینههای دوم یا سوم برود، یک الگوی آماری منظم خلق میشود. یک خواننده عادی با دیدن این جمله اصلاً متوجه هیچ نکته عجیبی نمیشود، چون متن کاملاً روان، طبیعی و بینقص به نظر میرسد.
آشکارسازها چطور مچ هوش مصنوعی را میگیرند؟
همانطور که حدس میزنید، تشخیص این ردپای آماری با چشم غیرمسلح برای انسانها تقریباً غیرممکن است. تمام جملات کاملاً منطقی هستند و به موضوع بحث پایبند ماندهاند. ظرافت ماجرا دقیقاً همینجاست: انتخاب حسابشده کلمات جایگزین، راهی مخفی برای امضا کردن متن بدون جلب توجه کاربر است.
اما یک ابزار تشخیص مجاز چطور این واترمارک را شناسایی میکند؟
اینجا همان بخش جذاب ماجراست! ابزارهای تشخیص معمولی نمیتوانند به راحتی از این راز سر درآورند. اما ابزار تشخیصی که توسط خود سازندگان مدل و با اطلاع از الگوریتم طراحی شده، متن را واکاوی میکند و انتخاب کلمات را با الگوی احتمالات مدل میسنجد. اگر ببیند متن بهطور غیرمعمولی از کلمات جایگزین استفاده کرده، با اطمینان ریاضی بالایی نتیجه میگیرد که متن توسط هوش مصنوعی تولید شده است.
البته این متد میتواند بسیار پیچیدهتر و هوشمندانهتر هم باشد. به جای اینکه همیشه گزینه دوم انتخاب شود، الگوریتم توزیع تصادفی پیچیدهتری به کار میگیرد؛ مثلاً ۵۰ درصد مواقع گزینه دوم، ۳۰ درصد مواقع گزینه سوم و ۲۰ درصد مواقع گزینه چهارم! استفاده از کلیدهای رمزنگاری محرمانه برای هدایت چیدمان توکنها نیز باعث میشود هیچ شخص ثالثی نتواند الگوریتم را کرک کند یا واترمارک را دور بزند.
شبح توهم در کمین متنهای واترمارکشده
شاید در نگاه اول تصور کنید واترمارکگذاری رویهای کاملاً «بیخطر» است؛ یعنی اگرچه ساختار جملات کمی تغییر میکند، اما کلیت خروجی دقیق و منطقی باقی میماند. اما ماجرا از جایی بحرانی میشود که پای توهم هوش مصنوعی به میان میآید. توهم به این معناست که مدلهای زبانی ادعاهایی کاملاً دروغین و ساختگی را به عنوان حقیقت به هم میبافند. برخی متخصصان حتی به جای واژه توهم، ترجیح میدهند از اصطلاح «دروغبافی هوش مصنوعی» یا افسانهسرایی (Confabulation) استفاده کنند تا ویژگیهای انسانی به ماشین نسبت داده نشود.
واقعیت این است که بیشتر کاربران حین کار با هوش مصنوعی حواسشان به توهمات نیست؛ آنها پاسخ را دریافت میکنند و به درستی آن اعتماد دارند. نکته موذیانه توهمات این است که زمان وقوعشان غیرقابلپیشبینی است و میتوانند با چنان ظرافتی در متن پنهان شوند که حتی کاربران تیزبین هم در یک نگاه گذرا متوجه خطای فاحش اطلاعاتی نشوند. در حالی که پژوهشگران ماههاست برای مهار این توهمات دستوپا میزنند، واترمارکها یک آتش جدید روشن کردهاند!
کنار هم قرار گرفتن دو معضل بزرگ
حالا این دو وضعیت را در کنار هم بگذارید:
- ۱. توهمات معمولی و همیشگی هوش مصنوعی: همه میدانیم که مدلها گاهوبیگاه دچار خطای فکت میشوند و پیشبینی زمان رخ دادن آنها آسان نیست.
- ۲. توهمات ناشی از واترمارکگذاری: پژوهشهای جدید نشان میدهند فرآیند واترمارکگذاری میتواند مستقیماً مدل را تحریک به دروغبافی کند؛ طوری که هنگام پنهان کردن ردپای متنی، احتمال هذیان گفتن مدل به اوج برسد!
شاید کمتر کسی فکرش را میکرد که این دو مقوله اینطور با هم تلاقی کنند. تا دیروز با توهمات روزمره مدلهای زبانی دستوپنجه نرم میکردیم، اما حالا یک چالش مضاعف پیش آمده است: توهماتی که خودِ واترمارک مقصر اصلی آنهاست! این یعنی یک قوز بالای قوز در امنیت و دقت مدلهای هوش مصنوعی.
پردهبرداری پژوهشگران از واقعیت
در پژوهش علمی تازهای با عنوان «جوهر نامرئی، دروغهای مرئی: چگونه واترمارکگذاری تجاری باعث توهم مدلهای زبانی بزرگ میشود» (Invisible Ink, Visible Lies: How Production Watermarking Causes LLMs to Hallucinate) که در پایگاه arXiv منتشر شده، نکات تکاندهندهای مطرح شده است:
- «این مقاله به بررسی افت دقت اطلاعاتی ناشی از خودِ فرآیند واترمارکگذاری میپردازد. ما توهم ناشی از واترمارک را به عنوان یک خطای ساختاری متفاوت از توهم معمولی معرفی میکنیم؛ در این حالت متن کاملاً روان، طبیعی و قابلردیابی باقی میماند، اما یک حقیقت متکی بر متن اصلی را تحریف میکند.»
- «با استفاده از یک محیط کنترلشده تولید تقویتشده با بازیابی اطلاعات (RAG)، خروجیهای دارای واترمارک و بدون واترمارک را در شرایط کاملاً یکسان مقایسه کردیم و افت دقت فکتها را اندازه گرفتیم.»
- «در تمام ۶ روش شناختهشده واترمارکگذاری—شامل KGW، SWEET، DiPmark، GumbelSoft، Gumbel-Max و فناوری مطرح SynthID گوگل—بهطور مداوم شاهد بروز توهمات ناشی از واترمارک بودیم.»
- «در نهایت، در کاربردهایی که صحت اطلاعات حیاتی است، هرگز نباید فرض کنیم واترمارک بیخطر است؛ بلکه پایایی اطلاعاتی باید در کنار قابلیت کشف، استحکام و کیفیت خروجی ارزیابی شود.»
پژوهشگران برای این پدیده نام «توهم ناشی از واترمارک» را ابداع کردهاند. این تمایز بسیار مهم است؛ چون نشان میدهد واترمارکها به اصل اولیه پزشکی یعنی «اول از همه آسیبی نرسان» پایبند نبودهاند! وقتی سیستمی برای شفافیت طراحی میشود اما خودش دروغ تحویل کاربر میدهد، زنگهای خطر در صنعت به صدا درمیآیند.
یک مثال عینی از توهم ناشی از واترمارک
برای درک بهتر ماجرا، بیایید یک سناریوی ساده را مرور کنیم.
فرض کنید از هوش مصنوعی درباره تاریخ سالانه جشن هالووین سؤال میکنید. در حالت اول، سیستم بدون واترمارک کار میکند و چنین پاسخی میدهد:
- پاسخ بدون واترمارک: «جشن هالووین در ۳۱ اکتبر هر سال برگزار میشود.»
حالا واترمارک را فعال میکنیم. الگوریتم طوری کلمات را انتخاب میکند که ردپای مخفی باقی بماند؛ مثلاً به جای «برگزار میشود»، واژه «رخ میدهد» را برمیگزیند. خروجی واترمارکشده اینگونه خواهد بود:
- پاسخ واترمارکشده (صحیح): «جشن هالووین در ۳۱ اکتبر هر سال رخ میدهد.»
تا اینجای کار همه چیز مرتب و طبیعی است.
وقتی واترمارک کار دست هوش مصنوعی میدهد!
اما مشکل اصلی از اینجا شروع میشود: در جریان محاسبات الگوریتم واترمارک، یک توهم ناگهانی در زنجیره تولید واژهها شکل میگیرد و خروجی تغییر میکند:
- پاسخ واترمارکشده همراه با توهم: «جشن هالووین در ۱۳ اکتبر هر سال رخ میدهد.»
دیدید چه شد؟ تاریخ به جای ۳۱ اکتبر، ناگهان تبدیل به ۱۳ اکتبر شد! یک جایگزینی به ظاهر ساده آماری برای تزریق واترمارک، اعدادی مثل تاریخها، ارقام آماری یا نام افراد را دستخوش تغییر میکند. ترسناکترین بخش اینجاست که روانی و شیوایی متن اصلاً آسیبی نمیبیند؛ جمله کاملاً صیقلی خوانده میشود و هیچ نشانهای که فوراً توجه خواننده را جلب کند وجود ندارد.
جالب اینجاست که اگر روانی جمله هم به هم میریخت، شاید وضعیت بهتر بود! چون کاربر فوراً متوجه میشد چیزی سر جایش نیست. مثلاً اگر هوش مصنوعی میگفت: «هالووین در ۱۳ اکتبر هر سال میپوسد!»، هر کاربری با تعجب شاخ درمیآورد و با مشکوک شدن به جمله، تاریخ غلط ۱۳ اکتبر را هم متوجه میشد. اما وقتی دروغ با ادبیاتی شکیل و روان بیان میشود، شناسایی آن به یک مأموریت ناممکن شبیه است.
یک مصالحه سخت و بدهبستان پیچیده
حالا باید به پیامدهای جدی این ماجرا فکر کرد. آیا ارزشش را دارد که برای ردیابی محتوای تولیدشده توسط ماشین، ریسک هذیانگویی هوش مصنوعی را بپذیریم؟ این مسئله توسعهدهندگان را در برابر یک بدهبستان بسیار دشوار قرار داده است. شاید عدهای بگویند واترمارکگذاری برای شفافیت جامعه آنقدر حیاتی است که هر چقدر هم توهم بالا برود، ارزشش را دارد. اما اگر این افزایش توهم شدید باشد چه؟ جامعه فناوری تنها در صورتی حاضر به پذیرش واترمارک خواهد بود که نرخ خطای افزوده بسیار ناچیز و نزدیک به صفر باشد.
پرسش کلیدی دیگر این است که سهم دقیق واترمارک در مقایسه با توهمات پیشفرض خود مدل چقدر است؟ اگر این افزایش چشمگیر نباشد، شاید خیلیها از آن چشمپوشی کنند. اما نکته مبهمتر این است که آیا این دو نوع توهم روی هم انباشته میشوند؟ فرض کنید احتمال توهم عادی X درصد و احتمال توهم ناشی از واترمارک Z درصد باشد؛ اگر این دو اثر همافزایی داشته باشند و همزمان در یک جمله رخ دهند، احتمال خطای مدل به شکل تصاعدی اوج خواهد گرفت!
دنیایی که در آن زندگی میکنیم
پژوهشگران روشهای گوناگونی را برای به حداقل رساندن یا حذف کامل این عارضه بررسی کردهاند. بدون شک غولهای هوش مصنوعی تمام توان خود را به کار خواهند بست تا الگوریتمهای واترمارکی ابداع کنند که ریسک توهم در آنها به صفر برسد؛ چرا که هیچ شرکتی نمیخواهد برچسب امنیتیاش، کیفیت نتایج کاربر را خراب کند. اگر واترمارک عامل مستقیم هذیانگویی مدل باشد، این داروی شفافیت عملاً با یک بیماری تازه همراه شده است!
البته شاید برخی بگویند هوش مصنوعی به هر حال دچار توهم میشود و فرقی نمیکند منشأ آن چه باشد؛ پس تا زمان ریشهکن شدن کلی توهمات، این هم صرفاً بخشی از واقعیت تلخ فناوری است.
پابلو پیکاسو، نقاش مشهور، زمانی گفته بود: «زندگی پر از شگفتیهاست؛ برخی خوب و برخی نه چندان خوب.» کشف پیوند میان واترمارک و توهم مدلها قطعاً از آن غافلگیریهای نه چندان خوب بود! اما امیدواریم شگفتی بعدی، دستیابی به نسل جدیدی از واترمارکها باشد که خروجی مدلها را بدون حتی یک ذره تحریف یا دروغبافی مهر و موم کنند.
مطالب مرتبط و پیشنهادی

رباتهای دیوارنورد در انبارها؛ جهش تماشایی Hai Robotics برای فتح ارتفاعات و عرضه اولیه سهام
استارتاپ Hai Robotics با طراحی رباتهای صخرهنوردی که مستقیماً از ستونهای قفسه بالا میروند، مفهوم ذخیرهسازی در انبارهای مدرن را دگرگون کرده است. این غول اتوماسیون با تکیه بر رباتهای خودران و پلتفرم نرمافزاری هوشمند، حالا بیش از نیمی از درآمدهای خود را از بازارهای بینالمللی کسب میکند و در آستانه ورود به بورس هنگکنگ قرار دارد.

۵ پلاگین فوقالعاده چتجیپیتی برای کارهای روزمره؛ صرفهجویی تمامعیار در زمان
اگر ساعتها وقت صرف چک کردن آبوهوا، پیدا کردن موسیقی و پادکست تازه، خرید هدیه یا یافتن رویدادهای آخر هفته میکنید، پلاگینهای چتجیپیتی بازی را برایتان عوض میکنند. با اتصال مستقیم هوش مصنوعی اوپنایآی به برنامههای روزمرهای مثل اسپاتیفای و اکیوودر، میتوانید کوهی از کارهای وقتگیر روزانه را در چند ثانیه سروسامان دهید و در زمان باارزش خود صرفهجویی کنید.

قمار بزرگ بلک لیک روی هوش مصنوعی صنعتی: وقتی ایجنتها فوتوفن مهندسان کارخانه را یاد میگیرند!
استارتاپ چینی بلک لیک با بهکارگیری ایجنتهای هوش مصنوعی در قلب خطوط تولید، فرایندهای پیچیده مهندسی مثل تحلیل نقشههای صنعتی و قیمتگذاری را از چند ساعت به تنها یک دقیقه رسانده است. این شرکت پس از سالها آزمونوخطا در کارخانهها و جذب ۱۴۰ میلیون دلار سرمایه جدید، حالا قصد دارد مدل هوش مصنوعی صنعتی خود را از کارگاههای چین به بازارهای جهانی گسترش دهد.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.