پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

مهار هوش مصنوعی با علم اقتصاد؛ چگونه نظریه بازی معکوس مدل‌ها را قانونمند می‌کند؟

انتشار:۱۲ آبان ۱۴۰۵(۵۵ دقیقه پیش)
۷ دقیقه زمان مطالعه
۰ دیدگاه
اشتراک و پسندیدن

پژوهشگران ایمنی هوش مصنوعی با الهام از علم اقتصاد و نظریه بازی معکوس، به‌دنبال طراحی سازوکارهایی هستند که رعایت قوانین را به منطقی‌ترین انتخاب برای عامل‌های هوشمند تبدیل کند. در این رویکرد، به‌جای تلاش برای رمزگشایی از ذهن پیچیده مدل‌ها، سامانه‌ای از پاداش‌ها و بازدارنده‌ها ایجاد می‌شود تا رفتارهای سرکش مهار شوند.

مهار هوش مصنوعی با علم اقتصاد؛ چگونه نظریه بازی معکوس مدل‌ها را قانونمند می‌کند؟

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • نظریه بازی معکوس با طراحی سنجیده قواعد و پاداش‌ها، رعایت قوانین را به سودآورترین و منطقیترین تصمیم برای مدل‌های هوش مصنوعی تبدیل می‌کند.
  • پژوهشگران پیشنهاد می‌کنند با ایجاد رقابت متقابل میان عامل‌ها یا استفاده از مدل‌های بازرس، جلوی پنهانکاری و فریب در آزمون‌های ایمنی گرفته شود.
  • این رویکرد اقتصادی به‌جای تمرکز بر سازوکار پیچیده درونی مدل‌ها، رفتار بیرونی آنها را از طریق مشوق‌ها و جریمه‌های هدفمند هدایت می‌کند.

رویکردی نوین با نام «نظریه بازی معکوس» در پی آن است تا با ایجاد مشوق‌هایی هدفمند برای مدل‌های قدرتمند هوش مصنوعی، پیروی از قوانین را به منطقی‌ترین و عقلانی‌ترین انتخاب ممکن برای آن‌ها تبدیل کند.

با افزایش چشمگیر توانمندی مدل‌های هوش مصنوعی، پژوهشگران حوزه ایمنی به‌شدت در تلاش‌اند تا این سامانه‌ها را با ارزش‌ها و خواسته‌های انسانی همسو کنند؛ به بیانی دیگر، آن‌ها می‌خواهند مطمئن شوند که عامل‌های هوشمند سرکش قانون‌شکنی نمی‌کنند، به سرورهای غیرمجاز نفوذ نمی‌کنند و دست به اقداماتی فاجعه‌بار مانند انتشار گازهای سمی در شهرهای بزرگ نمی‌زنند.

تاکنون بخش عمده این پژوهش‌ها بر کاوش در ساختار درونی یا به‌اصطلاح «مغز» هوش مصنوعی متمرکز بوده است تا مشخص شود این سامانه‌ها به چه چیزی فکر می‌کنند، یا تلاش شده تا مدل‌ها طوری آموزش ببینند که به ارزش‌های انسانی وفادار بمانند. برای نمونه، مدل هوش مصنوعی Claude دارای یک قانون اساسی است که نوعی منشور اخلاقی به‌شمار می‌رود.

مشکل اینجاست که این روش‌ها بازدهی چندان درخشانی نداشته‌اند؛ شواهد نشان می‌دهد مدل‌ها گاهی در آزمون‌ها عمداً عملکرد ضعیف‌تری از خود نشان می‌دهند، نیات اصلی‌شان را پنهان می‌کنند و ارزیاب‌های انسانی را به گمراهی می‌کشانند.

اکنون گروهی از پژوهشگران همسوسازی هوش مصنوعی بر این باورند که نظریه بازی معکوس، که با عنوان «طراحی سازوکار» (Mechanism Design) نیز شناخته می‌شود، می‌تواند به نتایج بهتری دست یابد. در حالی که نظریه بازی‌های سنتی در پی پیش‌بینی رفتار بازیگران عقلانی در چارچوب قوانینی مشخص است، نظریه بازی معکوس تلاش می‌کند قواعد بازی را به‌گونه‌ای طراحی کند که رفتار مطلوب و مدنظر ما در عامل‌ها برانگیخته شود.

یک مثال ملموس از طراحی سازوکار در دنیای واقعی، راهکار کلاسیک تقسیم کیک میان دو نفر است: یک نفر کیک را برش می‌زند و نفر دوم حق انتخاب تکه اول را دارد. این سازوکار باعث می‌شود فرد اول نهایت تلاش خود را به کار گیرد تا دو بخش کاملاً برابر ایجاد کند. نمونه‌های دیگر شامل قیمت‌گذاری پویا در تاکسی‌های اینترنتی برای ترغیب رانندگان به حضور در ساعت‌های شلوغی و مزایده‌های قیمت دوم است؛ جایی که برنده مزایده مبلغ دومین پیشنهاد بالاتر را می‌پردازد و نه بالاترین رقم را. پلتفرم‌های تبلیغاتی از این شیوه برای فروش تبلیغات آنلاین استفاده می‌کنند، زیرا خریداران را تشویق می‌کند تا رقمی بسیار نزدیک به سقف واقعی تمایل خود برای پرداخت پیشنهاد دهند.

در دنیای هوش مصنوعی، طراحی سازوکار با این فرض بنیادین آغاز می‌شود که شاید انسان هرگز نتواند سازوکار درونی مدل‌های پیشرفته را تا آن اندازه درک کند که از همسویی کامل آن‌ها مطمئن شود. بنابراین، باید سازوکارهایی بنا کنیم که فارغ از فرایندهای ناشناخته درون مدل، عامل‌های هوشمند را به رفتارهای مطلوب و مورد انتظار ما ترغیب کنند.

در همین زمینه، مقاله پژوهشی تازه‌ای به قلم استیون موریس، اقتصاددان دانشگاه MIT به‌همراه پژوهشگرانی از دانشگاه‌های ییل و کلمبیا، سازوکارهایی احتمالی را برای جلوگیری از پنهان‌کاری عامل‌ها در آزمون‌ها مطرح کرده است؛ پدیده‌ای که در آن مدل‌ها عمداً وانمود می‌کنند توانمندی ضعیف‌تری دارند تا از فعال شدن پروتکل‌های ایمنی بگریزند.

در این روش، مدل به‌جای دریافت پاداش صرف برای عملکرد خوب در یک آزمون، بر اساس دقت پیش‌بینی پاسخ‌های مدل دیگر پاداش می‌گیرد. با این تمهید، تظاهر به ناتوانی به یک قمار زیان‌ده برای سیستم بدل می‌شود. موریس در این‌باره توضیح می‌دهد: «عامل‌های هوش مصنوعی درک بسیار دقیقی از توانایی‌های سایر مدل‌ها دارند؛ بنابراین به نظر می‌رسد این راستی‌آزمایی متقابل می‌تواند کارایی کاملاً عملی داشته باشد.»

این مقاله هم‌چنین پیشنهاد می‌کند عامل‌ها در موقعیت رقابت با یکدیگر قرار گیرند تا انگیزه‌ای قوی برای ارائه بهترین عملکرد بیابند؛ یا اینکه مدل‌هایی با جهت‌گیری‌های متضاد در کنار هم به کار گرفته شوند و پاداش آن‌ها بر اساس میزان همگرایی پاسخ‌هایشان تعیین شود تا سیستم به سوی پاسخی بهینه و بی‌طرفانه سوق یابد.

رویکرد دوم را العاد هازان، استاد علوم کامپیوتر دانشگاه پرینستون، پیشنهاد داده است. او بر این باور است که می‌توان از سازوکارهای جامعه بشری برای همسوسازی رفتارهای انسانی الهام گرفت؛ سازوکارهایی نظیر هنجارهای اجتماعی، دستگاه قضایی و انگیزه‌های مالی در اقتصاد بازار آزاد. او می‌گوید: «ما در پی همسوسازی هوش مصنوعی فوق‌هوشمند هستیم، اما چرا ابتدا به سراغ جوامع انسانی نرویم؟ انسان‌ها چگونه در جامعه همسو و قانون‌مدار نگه داشته می‌شوند؟»

سازوکار پیشنهادی هازان بر این ایده استوار است که مدل‌های هوش مصنوعی به نوبت در نقش «حل‌کننده» برای انجام وظایف و «بازرس» برای بررسی عملکرد دیگران قرار گیرند. او در این رابطه می‌گوید: «یک عامل نقش نیروی ناظر قانون را ایفا می‌کند و عامل دیگر مانند یک شهروند عادی رفتار خواهد کرد.»

در طول دوره آموزش، پاداش‌ها بر اساس پیامدها توزیع می‌شوند: مدل‌های حل‌کننده‌ای که حین تقلب یا خطا شناسایی شوند جریمه خواهند شد و بازرسانی هم که در کشف این تخلفات ناکام بمانند تنبیه می‌شوند. در شرایطی که میان بازرس و حل‌کننده اختلاف‌نظر رخ دهد، پرونده به یک مرحله دادگاهی ارسال می‌شود؛ جایی که یک کارشناس انسانی قضاوت نهایی را بر عهده خواهد داشت.

هازان می‌پذیرد که ریسک تبانی میان عامل‌ها وجود دارد، درست همانند تبانی احتمالی بازرسان با شرکت‌ها یا مأموران فاسد با خلافکاران در دنیای واقعی. با این حال، می‌توان این چالش را با در نظر گرفتن پاداش‌های سخاوتمندانه برای بازرسان حل کرد، به‌طوری که خطر تبانی برای آن‌ها ارزش ریسک کردن نداشته باشد. این راهکار در فرایند آموزش هوش مصنوعی بسیار ساده‌تر از جهان واقعی است که با محدودیت بودجه مواجه است؛ افزون بر این، می‌توان با شیوه‌هایی شبیه به خریداران صوری و مخفی، خود بازرسان را نیز مورد ارزیابی قرار داد.

هازان به پژوهش برنده جایزه نوبل گری بکر، اقتصاددان سرشناس اشاره می‌کند که در دهه ۱۹۶۰ مفهوم «مجرم عقلانی» را مطرح ساخت. به عقیده بکر، قانون‌شکنان ذاتاً انسان‌های شروری نیستند، بلکه زمانی دست به تخلف می‌زنند که بر اساس سنجش سود و زیان، این اقدام منطقی‌ترین گزینه موجود باشد؛ تخلف تنها هنگامی رخ می‌دهد که منافع به دست آمده از مجازات احتمالی سنگین‌تر باشد.

او استدلال می‌کند که همسویی را نباید یک ویژگی ثابت در ذات مدل تلقی کرد، بلکه باید آن را توصیف‌کننده رفتار مدل در یک لحظه مشخص دانست. او این موضوع را چنین توضیح می‌دهد: «شما انسانی خوب و محترم هستید؛ اما آیا همیشه همسو با هنجارها رفتار می‌کنید؟ شاید در اغلب مواقع این‌طور باشد، اما شرایطی هم ممکن است پیش بیاید که خلاف آن عمل کنید.»

یکی از چالش‌های بنیادین در به‌کارگیری طراحی سازوکار در هوش مصنوعی، تکیه آن بر فرض عقلانی رفتار کردن عامل‌ها است. این نظریه در مواجهه با انسان‌ها کارنامه‌ای دوگانه دارد، زیرا انسان‌ها بارها ثابت کرده‌اند که مطابق پیش‌بینی مدل‌های اقتصادی عمل نمی‌کنند.

این موقعیت تا حدی طنزآمیز است: اقتصاددانان دهه‌ها تلاش کردند رفتار انسان را به فرمول‌های ریاضی تقلیل دهند و اکنون در قالب مدل‌های بزرگ زبانی، سامانه‌هایی ریاضیاتی پدید آمده‌اند که با زبان طبیعی انسان کار می‌کنند و می‌توانند درست به همان اندازه غیرقابل پیش‌بینی باشند. مدل‌های هوش مصنوعی رفتارهایی نشان می‌دهند که بیشتر شبیه انسان است تا ماشین، و عواملی بسیار ظریف و مبهم می‌توانند تصمیمات آن‌ها را دگرگون کنند. هلن کو، پژوهشگر مؤسسه Flatiron که مقالاتی درباره طراحی سازوکار و ایمنی هوش مصنوعی نوشته است، این پرسش را مطرح می‌کند: «آیا واقعاً منطقی است فرض کنیم این مدل‌ها به مشوق‌ها واکنش نشان می‌دهند؟»

موریس در پاسخ می‌گوید: «روشن است که هوش مصنوعی عاملی عقلانی به معنای واقعی نیست و صرفاً الگوریتم‌هایی هستند که محاسبات را انجام می‌دهند؛ با این حال، همان‌طور که اقتصاددانان در مورد انسان‌ها دریافتند، فرض عقلانی بودن این سامانه‌ها تا زمانی که به پیش‌بینی و کنترل رفتار آن‌ها کمک کند، ابزاری بسیار مفید خواهد بود.»

کو طراحی سازوکار را تنها لایه‌ای از راهبرد «دفاع چندلایه» برای همسوسازی هوش مصنوعی می‌داند که باید در کنار تفسیرپذیری، مقررات‌گذاری و روش‌های نوین آموزشی قرار گیرد و نه جایگزین آن‌ها. با این وجود، پرسش‌های بی‌پاسخ فراوانی پیش از پیاده‌سازی این نظریه‌ها در مدل‌های پیشرفته وجود دارد. هنوز روشن نیست این رویکرد چگونه در مقیاس مدل‌های واقعی عمل می‌کند یا اینکه آیا سازوکار طراحی‌شده برای یک وظیفه در سایر امور نیز کاربرد دارد یا خیر. از سوی دیگر، این احتمال وجود دارد که مدل‌ها روزنه‌هایی پیش‌بینی‌نشده برای دور زدن قواعد بیابند. شرکت‌های OpenAI و Anthropic نیز تاکنون درباره توسعه چنین سازوکارهایی در سامانه‌های خود اظهارنظری نکرده‌اند.

این سازوکارها به هر شکلی که پیاده شوند، در نهایت باید در دل بزرگ‌ترین سازوکار موجود، یعنی بازار آزاد، جای بگیرند. هازان تأکید می‌کند: «ما در چارچوب قوانین اقتصادی بازی می‌کنیم؛ مدلی که از نظر اخلاقی همسوتر باشد برای دنیا مفیدتر است، اما اگر ساخت یا اجرای آن کندتر و پرهزینه‌تر از مدلی با همسویی کمتر باشد، آیا ساختار اقتصادی کنونی انگیزه‌ای برای عرضه آن به آزمایشگاه‌های پیشرو می‌دهد؟»

او درباره ماهیت بازار می‌افزاید: «بازار سازوکاری است که رفاه بسیاری برای بشریت به ارمغان آورده است، اما هم‌زمان می‌تواند بسترساز فاجعه‌ای جبران‌ناپذیر باشد.» با این تفاسیر، شاید نهادهایی که بیش از همه نیازمند بازطراحی سازوکارها و انگیزه‌های خود هستند، خود آزمایشگاه‌ها و شرکت‌های توسعه‌دهنده هوش مصنوعی باشند.

بازخورد و اشتراک‌گذاری این مطلب

اگر این گزارش برایتان مفید بود، با پسندیدن و اشتراک‌گذاری آن با دیگران، از محتوای تخصصی هوش مصنوعی حمایت کنید.

اشتراک‌گذاری در شبکه‌های اجتماعی:

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

شهردار نیویورک: خطرات هوش مصنوعی برای مردم است و سود سرشار آن برای غول‌های فناوری
آخرین اخبار

شهردار نیویورک: خطرات هوش مصنوعی برای مردم است و سود سرشار آن برای غول‌های فناوری

زهران ممدانی، شهردار نیویورک، در گفتگویی تفصیلی با انتقاد از مصرف سرسام‌آور انرژی توسط دیتاسنترهای هوش مصنوعی، نسبت به حباب مالی این حوزه و شباهت آن به بحران مسکن هشدار داد. او با دفاع از ممنوعیت استفاده از هوش مصنوعی مولد در مدارس، خواستار شفافیت مصرف انرژی و مهار وعده‌های فریبنده فناوری شد.

۲۸ دقیقه مطالعه
۰
۱۲ آبان
وابستگی کامل بخش دولتی به مایکروسافت، آینده رقابت در بازار هوش مصنوعی را تهدید می‌کند
آخرین اخبار

وابستگی کامل بخش دولتی به مایکروسافت، آینده رقابت در بازار هوش مصنوعی را تهدید می‌کند

وابستگی گسترده نهادهای عمومی به زیرساخت‌های ابری مایکروسافت، فرصت رقابت را از سایر توسعه‌دهندگان هوش مصنوعی سلب می‌کند. کارشناسان هشدار می‌دهند تصمیم‌های کوتاه‌مدت مالی، دولت‌ها را در اکوسیستم یک شرکت خاص گرفتار کرده است. نهادهای نظارتی باید پیش از قفل‌شدن کامل سازمان‌ها در این ساختار، فضایی رقابتی برای ابزارها و ایجنت‌های نوین هوش مصنوعی فراهم کنند.

۶ دقیقه مطالعه
۰
۱۲ آبان
چگونه ایجنت‌های هوش مصنوعی تعامل شرکت‌های داروسازی با جامعه پزشکی را متحول می‌کنند؟
آخرین اخبار

چگونه ایجنت‌های هوش مصنوعی تعامل شرکت‌های داروسازی با جامعه پزشکی را متحول می‌کنند؟

استفاده از ایجنت‌های هوش مصنوعی در شرکت‌های داروسازی، شیوه تعامل تیم‌های بازاریابی و علمی با پزشکان را دگرگون کرده است. این سیستم‌های هوشمند با تحلیل دقیق گفتگوها و ارزیابی سریع محتوا، دسترسی دقیق‌تر کادر درمان به اطلاعات علمی را ممکن می‌سازند. چنین رویکردی در نهایت روند دسترسی بیماران به داروهای مناسب را سرعت می‌بخشد.

۴ دقیقه مطالعه
۰
۱۲ آبان