پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

پژوهشگران راهکار جدیدی برای توقف توهم هوش مصنوعی یافتند: آموزش مدل‌ها برای پذیرش پاسخ ندادن

انتشار:۱ مهر ۱۴۰۵(۵ روز پیش)
۱۱ دقیقه زمان مطالعه
۰ دیدگاه

تحقیقات جدید نشان می‌دهد که توهم هوش مصنوعی تا حد زیادی به دلیل فشار به مدل‌ها برای ارائه پاسخ در هر شرایطی رخ می‌دهد. با کاهش این فشار، می‌توان خروجی‌های دقیق‌تری به دست آورد.

پژوهشگران راهکار جدیدی برای توقف توهم هوش مصنوعی یافتند: آموزش مدل‌ها برای پذیرش پاسخ ندادن

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • پژوهش‌های اخیر نشان می‌دهند که مدل‌های زبانی به دلیل ساختار ارزیابی مبتنی بر دقت، همواره برای پاسخ‌گویی تحت فشار هستند که این امر به حدس زدن‌های نادرست و بروز توهم می‌انجامد.
  • محققان معتقدند با تغییر روش‌های آموزش و کاهش الزام به تولید پاسخ در غیاب داده‌های موثق، می‌توان نرخ توهمات هوش مصنوعی را به میزان قابل‌توجهی کاهش داد.
  • کاربران نیز می‌توانند با استفاده از تکنیک‌های مهندسی پرامپت و درخواست از مدل برای بیان میزان قطعیت یا عدم اطمینان، تا حدی از گمراه‌شدن توسط پاسخ‌های ساختگی جلوگیری کنند.
Technician Leading Software Presentation At Business Meeting
تحقیقات نشان می‌دهد توهمات هوش مصنوعی تا حدودی ناشی از فشار بر مدل برای ارائه پاسخ است، حتی زمانی که جواب مناسبی وجود ندارد.

تلاش‌های مداومی برای درک علت بروز توهم هوش مصنوعی و یافتن راه‌هایی برای توقف آن در جریان است. این موضوع به یک چالش بزرگ و بسیار مهم تبدیل شده است. بررسی دقیق یک پیشنهاد جدید برای مقابله با توهمات هوش مصنوعی، نتایج امیدوارکننده‌ای را نشان می‌دهد.

این پژوهش جدید تأکید می‌کند که سیستم‌های هوش مصنوعی عمدتاً به گونه‌ای طراحی شده‌اند که حتی زمانی که از نظر محاسباتی و ریاضی پاسخ مناسبی در دست ندارند، باز هم جوابی تولید کنند. در نتیجه، مدل دست به حدس‌های کورکورانه می‌زند و توهم هوش مصنوعی به کاربران ارائه می‌شود. به نظر می‌رسد اگر از این فشار کاسته شود، احتمال تولید اطلاعات ساختگی توسط مدل‌ها کاهش می‌یابد. این ایده مدت‌هاست که مطرح شده و اکنون پشتیبانی پژوهشی قدرتمندی از آن صورت گرفته است.

باید توجه داشت که این تنها یکی از چندین نظریه موجود است. اگر این رویکرد کلیدی باشد، احتمالاً برای غلبه بر توهم هوش مصنوعی باید به مدل‌ها آزادی عمل داد تا در صورت عدم دسترسی به پاسخ آماده، از ارائه جواب خودداری کنند. این انعطاف‌پذیری می‌تواند در زمان آموزش، اجرا یا حتی در مرحله ساخت هوش مصنوعی اعمال شود. با برداشتن این فشار، انتظار می‌رود که هوش مصنوعی دیگر برای جلب رضایت کاربران به توهم روی نیاورد.

دردسر توهم هوش مصنوعی

احتمالاً تاکنون درباره توهمات هوش مصنوعی شنیده‌اید یا با آن‌ها مواجه شده‌اید. اخبار، تیترهای هشداردهنده‌ای درباره این موضوع پیچیده منتشر می‌کنند. توهم به وضعیتی گفته می‌شود که هوش مصنوعی دچار خطا شده و پاسخی تولید می‌کند که معتبر به نظر می‌رسد، اما بررسی دقیق‌تر نشان می‌دهد که کاملاً ساختگی است.

این توهمات خطرناک هستند، زیرا کاربران ممکن است به راحتی این اطلاعات دروغین را باور کرده و به اشتباه بر آن‌ها تکیه کنند. اگر یک مدل هوش مصنوعی در بیشتر مواقع درست پاسخ دهد، کاربر گارد خود را پایین می‌آورد و تصور می‌کند که همیشه حق با مدل است. بنابراین، فریب خوردن و پذیرش ناآگاهانه یک توهم هوش مصنوعی بسیار آسان است.

به گفته برخی کارشناسان، استفاده از عبارت «توهم هوش مصنوعی» چندان مناسب نیست، زیرا بیش از حد به هوش مصنوعی ویژگی‌های انسانی می‌بخشد. با شنیدن این کلمه، ناخودآگاه به یاد توهمات انسانی می‌افتیم و تصور می‌کنیم مدل نیز در حال تجربه حالت مشابهی است؛ مقایسه‌ای که گمراه‌کننده و نادرست است. با این حال، این اصطلاح رایج شده و چاره‌ای جز استفاده از آن نیست.

ماهیت فریبنده توهمات

هنگامی که یک هوش مصنوعی پاسخی جعلی یا ساختگی تولید می‌کند، این پدیده به عنوان توهم هوش مصنوعی شناخته می‌شود.

ماهیت فریبنده این توهمات در این است که معمولاً به شکل یک پاسخ کاملاً منطقی ظاهر می‌شوند و کاربر به سادگی فریب آن‌ها را می‌خورد. این خطر زمانی بیشتر می‌شود که بخش ساختگی، در میان یک متن بزرگ‌تر و کاملاً درست پنهان شده باشد.

برای مثال، ممکن است مدل پاسخ طولانی و دقیقی درباره نظریه نسبیت انیشتین ارائه دهد و در میان آن، یک خط اضافه کند که انیشتین با صحبت با تک‌شاخ‌ها به این نظریه رسیده است. اگر بقیه متن کاملاً درست باشد، ذهن کاربر فریب می‌خورد و ممکن است خط مربوط به تک‌شاخ‌ها را نیز ناخودآگاه بپذیرد.

یک عامل پیچیده این است که نمی‌توان زمان بروز توهمات را پیش‌بینی کرد. تصادفی بودن این اتفاق، مدیریت آن را دشوار می‌کند. اگر این خطاها همیشه در شرایطی خاص یا با پرامپت‌های مشخصی رخ می‌دادند، مقابله با آن‌ها آسان‌تر بود، اما توهمات عموماً گریزان و غیرقابل پیش‌بینی در نظر گرفته می‌شوند.

قاعده کلی این است که همیشه انتظار دریافت یک توهم هوش مصنوعی را داشته باشید. کاربران باید همواره هوشیار باشند و تمام خروجی‌ها را دوباره بررسی کنند؛ کاری که البته خسته‌کننده و طاقت‌فرسا است.

مقابله با توهمات هوش مصنوعی

محققان و توسعه‌دهندگان هوش مصنوعی به شدت در تلاش‌اند تا راهی برای مقابله با این توهمات بیابند. نظریه‌ها و پیشنهادهای بی‌شماری در این زمینه وجود دارد که برخی مفید و برخی دیگر بی‌اساس هستند.

این تلاش‌ها بر پنج محور اصلی متمرکز است:

  • ۱. تشخیص زمانی که هوش مصنوعی در حال حرکت به سمت تولید توهم است.
  • ۲. تعیین اینکه یک توهم هوش مصنوعی تولید شده است (پس از وقوع).
  • ۳. جلوگیری از انحراف مدل به سمت تولید توهم.
  • ۴. متوقف کردن کامل تولید توهمات در سیستم.
  • ۵. کشف منبع یا علت اصلی بروز این پدیده.

یکی از باورهای رایج و البته اشتباه این است که می‌توان به سادگی از هوش مصنوعی خواست که توهم نداشته باشد. اگر کار به همین سادگی بود، توسعه‌دهندگان با افزودن یک دستور در سیستم پرامپت، مشکل را برای همیشه حل می‌کردند.

تحقیقات نشان می‌دهد که درخواست مستقیم از مدل برای پرهیز از توهم، کمک چندانی نمی‌کند. شاید این پرامپت احتمال خطا را اندکی کاهش دهد، اما تأثیر معناداری ندارد. حتی ممکن است مطرح کردن موضوع توهم در پرامپت، خود باعث تحریک مدل و سوق دادن آن به سمت تولید توهم شود؛ وضعیتی که به یک معمای پیچیده تبدیل شده است.

پژوهش‌های مهم اخیر

در مقاله پژوهشی اخیر با عنوان «ارزیابی مدل‌های زبانی بزرگ برای دقت، توهمات را تشویق می‌کند» که در نشریه Nature منتشر شده، نکات برجسته‌ای مطرح شده است:

  • «مدل‌های زبانی بزرگ گاهی اطلاعات غلط اما با اعتمادبه‌نفس و منطقی (توهمات) تولید می‌کنند که قابلیت اطمینان آن‌ها را محدود می‌کند.»
  • «کارهای قبلی راه‌حل‌هایی مانند استفاده از ابزارها، خود-ارزیابی مبتنی بر سازگاری و یادگیری تقویتی از بازخورد انسانی ارائه داده‌اند. با این حال، این مشکل حتی در پیشرفته‌ترین مدل‌ها نیز پابرجاست.»
  • «ما یک توضیح ساده ارائه می‌دهیم: در سیستم‌های ارزیابی استاندارد، حدس زدن یک استراتژی غالب است.»
  • «در اینجا نشان می‌دهیم که پیش‌بینی کلمه بعدی و ارزیابی‌های مبتنی بر دقت، ناخواسته حدس‌های بی‌اساس را تشویق می‌کنند.»
  • «بنابراین، بهبود قابلیت اطمینان تنها یک مشکل مدل‌سازی نیست، بلکه یک مسئله در طراحی مکانیسم ارزیابی است.»
  • «نگاه به توهم به عنوان یک مشکل مبتنی بر انگیزه، مسیر عملی جدیدی را به سوی مدل‌های زبانی قابل‌اطمینان‌تر باز می‌کند.»

این رویکرد نشان می‌دهد که بخشی از مشکل به نحوه ساخت هوش مصنوعی مولد و مدل‌های زبانی برمی‌گردد؛ جایی که سیستم‌ها به صورت محاسباتی برای حدس زدن تشویق می‌شوند. مدل به جای پذیرش عدم دسترسی به پاسخ، از همان ابتدا برای ارائه یک حدس (حتی بی‌اساس) تحت فشار قرار می‌گیرد.

بررسی راهکارهای ممکن

اگر ویژگی بارز توهمات این باشد که هوش مصنوعی در حال تقلا برای یافتن پاسخ است، راه‌هایی برای مقابله با آن وجود دارد. با درک علت بروز توهمات، می‌توان اقداماتی انجام داد.

یک دیدگاه این است که نحوه ساخت مدل‌های زبانی تغییر کند. اصلاح الگوریتم‌ها، ساختارهای داده و مکانیسم‌های داخلی می‌تواند جلوی تولید توهم را بگیرد. با این حال، تغییر نحوه کدنویسی و ساخت هوش مصنوعی مولد چالش‌های خاص خود را دارد.

دیدگاه دوم بر این باور است که نیازی به تغییر ساختار اصلی نیست و می‌توان با اصلاح نحوه آموزش و تنظیم داده‌ها، این مشکل را حل کرد. با تغییر انگیزه‌های مرتبط با تولید پاسخ، هوش مصنوعی واکنش متفاوتی نشان خواهد داد.

بین این دو گزینه یک تبادل و بده‌بستان وجود دارد.

اگر تغییر ساختار به تنهایی برای جلوگیری از توهم کافی بود، قطعاً تمام سازندگان هوش مصنوعی به آن روی می‌آوردند. اما مشکل اینجاست که این روش می‌تواند مشکلات جدیدی ایجاد کند. از سوی دیگر، تغییر نحوه آموزش از نظر هزینه‌ای مقرون‌به‌صرفه‌تر است و به زیرساخت‌های فعلی دست نمی‌زند.

برخی معتقدند باید هر دو روش را همزمان پیش برد، اما این کار ممکن است خطرات و ناهنجاری‌های مضاعفی به همراه داشته باشد و شرایط را پیچیده‌تر کند.

کاهش فشار از طریق مهندسی پرامپت

تا زمانی که سازندگان هوش مصنوعی روش‌های آموزش خود را برای کاهش فشار بر مدل‌ها اصلاح کنند، کاربران می‌توانند با استفاده از ترفندهایی، احتمال بروز توهم را کاهش دهند.

می‌توان در پرامپت‌ها به هوش مصنوعی اجازه داد که در صورت نداشتن اطلاعات کافی، از ارائه پاسخ خودداری کند. در این حالت، مدل اطلاع می‌دهد که داده‌های مناسبی برای یک پاسخ دقیق در اختیار ندارد. البته این روش همیشه کارساز نیست و گاهی مدل را بیش از حد محتاط می‌کند.

رویکرد دیگر، درخواست از هوش مصنوعی برای اعلام سطح قطعیت یا عدم اطمینان پاسخ است. در این روش، مدل از پاسخ‌گویی منع نمی‌شود و حتی می‌تواند حدس‌های خود را ارائه دهد، اما موظف است میزان اطمینان خود را مشخص کند.

کاربر با بررسی این سطح قطعیت می‌تواند درباره درستی پاسخ تصمیم‌گیری کند. تنها نقطه ضعف این است که ممکن است پس از مدتی، کاربران به این هشدارها عادت کرده و آن‌ها را نادیده بگیرند. این روش به ویژه در موضوعات نامتعارف که احتمال توهم هوش مصنوعی در آن‌ها بالاتر است، بسیار کاربردی خواهد بود.

واقعیت دنیای هوش مصنوعی

هنوز هیچ راه‌حل قطعی و جادویی برای ریشه‌کن کردن توهمات هوش مصنوعی کشف نشده است. برخی ادعا می‌کنند که این توهمات همیشه با ما خواهند بود و هیچ راهی برای حذف کامل آن‌ها وجود ندارد. آن‌ها معتقدند باید این خطاها را به عنوان بخشی جدایی‌ناپذیر از کار با هوش مصنوعی پذیرفت.

اما این بدان معنا نیست که باید تسلیم شد. کاربران باید گفته‌های هوش مصنوعی را دوباره بررسی کنند، از منابع جایگزین بهره ببرند و حتی از چند مدل مختلف برای مقایسه پاسخ‌ها استفاده کنند. احتمال اینکه دو هوش مصنوعی متفاوت دقیقاً به یک شکل و در یک زمان دچار توهم شوند، بسیار ضعیف است.

نکته پایانی این است که توهم هوش مصنوعی یک واقعیت موجود است؛ باید برای مواجهه با آن آماده بود و اجازه نداد که مدل‌ها اطلاعات دروغین را به جای حقیقت جا بزنند. این هزینه‌ای است که برای بهره‌مندی از قابلیت‌های شگفت‌انگیز هوش مصنوعی مولد می‌پردازیم.

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

رکورد ۸۳۳ هزار دانلود ماهانه برای LEGAL-BERT؛ وقتی توسعه‌دهنده‌ها قید مدل‌های گران‌قیمت را می‌زنند!
آخرین اخبار

رکورد ۸۳۳ هزار دانلود ماهانه برای LEGAL-BERT؛ وقتی توسعه‌دهنده‌ها قید مدل‌های گران‌قیمت را می‌زنند!

مدل زبانی تخصصی LEGAL-BERT با ثبت بیش از ۸۳۳ هزار دانلود در ماه روی پلتفرم هاگینگ فیس حسابی خبرساز شده است. این ابزار جمع‌وجور و تخصصی نشان می‌دهد که برای پردازش و تحلیل متون حقوقی، حتماً نیازی به مدل‌های غول‌پیکر و پرهزینه ندارید و گزینه‌های بهینه همچنان در اوج هستند.

۲ دقیقه مطالعه
۰
۶ مهر
جاسوسی هوش مصنوعی در محل کار؛ کارمندان می‌گویند کارفرماها باید قانوناً مچ‌گیری‌هایشان را لو بدهند!
آخرین اخبار

جاسوسی هوش مصنوعی در محل کار؛ کارمندان می‌گویند کارفرماها باید قانوناً مچ‌گیری‌هایشان را لو بدهند!

نظرسنجی‌های تازه نشان می‌دهد که بیشتر کارمندان حس می‌کنند مدیرانشان با ابزارهای هوش مصنوعی تمام حرکات آن‌ها را زیر نظر گرفته‌اند. حالا بیش از ۸۰ درصد شاغلان خواستار تصویب قانونی شده‌اند که شرکت‌ها را مجبور کند هرگونه مچ‌گیری و نظارت هوش مصنوعی در محیط کار را رسماً اعلام کنند.

۳ دقیقه مطالعه
۰
۶ مهر
گزارش داغ مایکروسافت از نفوذ جهانی هوش مصنوعی؛ امارات در صدر و رتبه عجیب آمریکا!
آخرین اخبار

گزارش داغ مایکروسافت از نفوذ جهانی هوش مصنوعی؛ امارات در صدر و رتبه عجیب آمریکا!

مایکروسافت در تازه‌ترین گزارش خود از ضریب نفوذ هوش مصنوعی در جهان پرده برداشت؛ آماری شگفت‌انگیز که نشان می‌دهد امارات و سنگاپور با فاصله‌ای خیره‌کننده پیشتاز دنیا هستند و در مقابل، آمریکا در رتبه ۲۱ جا مانده است. همچنین الگوی استفاده از هوش مصنوعی میان کشورهای غربی و کشورهای در حال توسعه، از تفاوتی عمیق میان کاربردهای روزمره و آموزش پرده برمی‌دارد.

۳ دقیقه مطالعه
۰
۶ مهر