وقتی هوش مصنوعی مشاور رئیسجمهور می‌شود، چه خطراتی تصمیم‌های سرنوشتساز را تهدید می‌کند؟

در ماه سپتامبر، شبکه خبری CNN گزارش داد که ایالات متحده در آستانه یک رویارویی نظامی جدی با چین قرار گرفته بود. علت این حادثه چه بود؟ طبق گزارش‌ها، یک تحلیلگر نظامی هنگام استفاده از یک چت‌بات هوش مصنوعی برای آماده‌سازی گزارش اطلاعاتی درباره یک شناور چینی، به اشتباه به این نتیجه رسید که کشتی حامل مواد هست‌های است. گفته می‌شود پیش از کشف این خطای محاسباتی، جنگنده‌های آمریکایی برای رهگیری شناور مذکور به پرواز درآمده بودند.

به دنبال این ماجرا، بحث‌ها و گفتگوهای گستردهای پیرامون چرایی وقوع چنین خطای خطرناکی از سوی یک مدل هوش مصنوعی شکل گرفت. با وجود فروکش کردن این مجادله‌ها، این نگرانی عمیق همچنان به قوت خود باقی است که چگونه یک ارزیابی تولیدشده با کمک هوش مصنوعی توانسته است با چنین سرعتی در سلسله مراتب فرماندهی نظامی بالا برود و اعتبار یک گزارش اطلاعاتی تاییدشده و موثق را به دست آورد.

در شرایطی که بحث‌های زیادی درباره خطرات احتمالی ابرهوش مصنوعی در آینده برای بشریت در جریان است، روزبهروز روشن‌تر می‌شود که پای این فناوری اگر تا امروز به اتاق وضعیت کاخ سفید باز نشده باشد، بهزودی باز خواهد شد. هر فردی که تجربه رویارویی با بحران‌های امنیت ملی را داشته باشد به‌خوبی می‌داند که در چنین شرایطی، حجم انبوهی از اطلاعات متناقض سرازیر می‌شود، در حالی که زمان بسیار محدود است و راهکار روشنی نیز برای ارزیابی سریع همه داده‌ها وجود ندارد. هوش مصنوعی می‌تواند حجمی از ورودی‌های اطلاعاتی را تحلیل کند که فراتر از توان هر تیم انسانی است، الگوها و ناهنجاری‌های پنهان در داده‌ها را کشف نماید و در زمانی بسیار کوتاه، از دل اطلاعات پیچیده معنا استخراج کند؛ اما سؤال اساسی اینجاست که چنین ابزاری چه تاثیری بر قضاوت نهایی رئیسجمهور خواهد گذاشت؟

بررسی‌های تخصصی در حوزه تصمیم‌گیری هنگام بحران و ارزیابی اطلاعاتی نشان می‌دهد که خطری کاملا واقعی وجود دارد؛ اینکه هوش مصنوعی سوگیری‌های فکری خود رهبران را تشدید کند و همان پیشفرض‌های ذهنی آنان را در پوشش یک تحلیل عینی، بیطرفانه و با ارائهای قاطعانه و فریبنده، به خورد خودشان دهد.

بسیاری از افراد تمایل دارند به گون‌های درباره هوش مصنوعی صحبت کنند که گویی با سیستمی کاملا مستقل و عقلانیتر روبهرو هستیم که توانایی جبران ضعف‌های انسانی ما را دارد. با این حال در دنیای واقعی، همین مدل‌های هوش مصنوعی توسط انسان‌ها توسعه یافته‌اند و با داده‌های تولیدشده به دست انسان‌ها آموزش دیده‌اند. در مرحله بعد نیز کاربران پرسش‌هایی را با این مدل‌ها مطرح می‌کنند که جهتگیری آنها از باورها و پیشفرض‌های فکری خودشان سرچشمه می‌گیرد؛ بنابراین خروجی نهایی به هیچ عنوان بیطرفانه و عینی نخواهد بود.

نقاط ضعف انسان در فرایند تصمیم‌گیری بر کسی پوشیده نیست. روسای جمهور و مشاوران ارشد آنان همواره مجبور بوده‌اند در برابر پدیده «سوگیری تاییدی» هوشیار باشند؛ همان تمایل درونی انسان به تفسیر شواهد بر اساس باورهای قبلی و نادیده گرفتن یا بینتیجه تلقی کردن واقعیت‌هایی که خلاف دیدگاه‌هایشان است. از سوی دیگر، انسان‌ها گرفتار «توجه گزینشی» هستند و به‌طور غریزی تمایل دارند روی حقایق آشکارتری تمرکز کنند که با ذهنیتشان همخوانی دارد و از سایر نکات چشمپوشی نمایند. روسای جمهور و تصمیم‌گیرندگان بزرگ نیز از این خطاهای ذهنی مستثنی نیستند.

با این حال، خطر پنهانتر و فریبندهتری در پس بهکارگیری هوش مصنوعی نهفته است. تصمیم‌های سطح ریاستجمهوری در واقع برآیند بی شمار قضاوت و گمانهزنی زیربنایی هستند. افراد خردمند و کارآزموده ممکن است درباره هر یک از این براوردها دیدگاه‌های متفاوتی داشته باشند و اتفاقا بخش اصلی وظیفه رئیسجمهور، حل وفصل همین تفاوت‌های کارشناسی است. فشرده کردن و خلاصهسازی همه این دیدگاه‌های متنوع در قالب یک عدد احتمالاتی واحد، بیش از آنکه روشنگر باشد، حقیقت را پنهان می‌کند؛ زیرا چنین عددی مشخص نمی‌کند که کدام شاخص‌ها معتبر شناخته شده‌اند و از کدام داده‌ها چشمپوشی شده است.

شب اول مه سال ۲۰۱۱ را در نظر بگیرید؛ شبی که باراک اوباما، رئیسجمهور وقت آمریکا، مشاوران خود را برای بررسی اطلاعات مربوط به حضور احتمالی اسامه بن لادن در ساختمانی در ابیتآباد پاکستان گردهم آورده بود. اگر داده‌های اطلاعاتی صحت داشت، او باید فرمان اعزام نیروهای ویژه آمریکایی را صادر میکرد. با این حال مشاوران مورد اعتماد و باتجربه او، با وجود اینکه همگی به اطلاعاتی کاملا یکسان دسترسی داشتند، براوردهای فردی متفاوتی ارائه دادند که بین ۳۰ تا ۹۵ درصد متغیر بود.

حالا فرض کنید در آن اتاق یک سیستم قدرتمند هوش مصنوعی حضور داشت و با ترکیب تمام آن دیدگاه‌ها، احتمال حضور بن لادن در آن نقطه را ۶۳٫۷ درصد براورد میکرد. بیتردید با این کار، دقت ریاضی بالاتری به دست میآمد، اما چه چیزی فدا میشد؟ چنین عددی هرگز به رئیسجمهور نمیگفت که چرا تفاوتی به این بزرگی میان ارزیابی‌های مشاوران وجود داشته است. این سیستم به او نشان نمیداد که هر یک از تحلیل‌ها بر پایه چه پیشفرض‌های رقیبی استوار بوده یا پیامدهای اقدام نظامی در برابر انفعال چگونه سنجیده شده است. از همه بدتر، چنین عددی حتی به رئیسجمهور اطلاع نمیداد که اصلا اختلافی میان کارشناسان وجود داشته است؛ چراکه یک رقم شستهورفته و قطعی، مسئله را کاملا حلشده و بدیهی جلوه می‌دهد.

علاوه بر این، در نظر بگیرید که نهادهایی نظیر سیا (CIA)، آژانس اطلاعات دفاعی (DIA)، وزارت امور خارجه و سایر شاخه‌های نظامی احتمالا همگی به مدل‌های بنیادین یکسانی متکی خواهند شد که با داده‌ها و منابع اطلاعاتی همپوشان آموزش دیده‌اند. در چنین حالتی از نظر تئوری ممکن است با ۱۰ گزارش اطلاعاتی روبهرو شوید که همگی به یک نتیجه مشترک اشاره دارند، اما همه آنها از پایگاه‌های داده و الگوریتم‌های اولیه‌ای یکسان سرچشمه گرفته‌اند. بروز این پدیده در دنیای هوش مصنوعی «اجماع ساختگی» نام دارد؛ توافقی نهادی که به‌ظاهر مستقل به نظر می‌رسد، اما در حقیقت محصول یک موتور تحلیلی مشترک است که همان نتیجه را در مقیاسی بزرگ تکرار کرده است.

اگرچه خطاهای تصمیم‌گیری انسانی برای همه شناخته شده‌اند، راهکارهای مقابله با آنها نیز وجود دارد. میتوان سیستم‌های هوش مصنوعی را به گون‌های طراحی کرد که نقش منتقدانی خیرخواه را بازی کنند و هم‌زمان به تصمیم‌گیرندگان آموزش داد تا با چنین نگاهی با این ابزارها تعامل داشته باشند.

از منظر فناوری، باید سیستم‌هایی توسعه داد که جرات به چالش کشیدن نظرات را داشته باشند و فرضیات را زیر سؤال ببرند. هوش مصنوعی مورد استفاده در حوزه امنیت ملی نباید صرفا برای سرعت پاسخدهی بهینه‌سازی شود؛ بلکه باید برای شناسایی شواهد معتبر، تدوین سناریوها و تبیین‌های رقیب، تفکیک واقعیت‌های ملموس از پیشبینی‌ها و استنتاج‌ها، و آشکار ساختن میزان عدم قطعیت‌ها به‌جای ارائه دقت کاذب طراحی گردد. سیستمی که صرفا برای تأیید دیدگاه افراد طراحی شده باشد خطرناک خواهد بود؛ زیرا در واقعیت، نقاط اصطکاک و اختلافنظرها ارزشمندترین نکاتی هستند که به رهبران در تصمیمگیری‌های دشوار یاری می‌رسانند.

از بعد انسانی نیز مسئولان باید شیوه طرح پرسش‌های خود را دگرگون سازند. این کار مستلزم آن است که پیش از کار با هوش مصنوعی، پیشفرض‌های ذهنی و سطح اطمینان خود از باورهایشان را به‌دقت ثبت و بازبینی کنند. باید صورت مسئله‌ها و نحوه طرح پرسش‌ها بارها مورد بازنگری قرار گیرد. به‌جای جستجو برای تأیید فرضیات موجود، تصمیم‌گیرندگان باید صراحتا از هوش مصنوعی شواهدی را مطالبه کنند که فرضیاتشان را رد می‌کند و راه‌هایی برای تمایز میان احتمالات رقیب پیش پایشان می‌گذارد؛ حتی باید این سؤال اساسی پرسیده شود که آیا از ابتدا روی مسئله درستی تمرکز کرده‌اند یا خیر.

از جنبه ساختاری و مدیریتی نیز مدیریت اطلاعات ملی باید نهادهای امنیتی را ملزم کند در تمام گزارش‌های مبتنی بر هوش مصنوعی، شفاف‌سازی کنند که آیا این اطلاعات از منابع دادهای یکسان استخراج شده‌اند یا از پایگاه‌های مستقل. هنگامی که ۱۰ نهاد اطلاعاتی دیدگاه مشترکی ارائه می‌دهند، رئیسجمهور باید دقیقا بداند که آیا با ۱۰ تحلیل مستقل روبهروست یا در حقیقت یک تحلیل ده بار تکرار شده است. علاوه بر این، سیاست‌گذاران باید ارزیابی شواهد یکسان را به مدل‌های هوش مصنوعی متفاوتی بسپارند و نقاط اختلاف و چرایی واگرایی تحلیل‌های آنها را به‌دقت بررسی کنند.

نتیجه‌گیری سادهانگاران‌های خواهد بود اگر از حادثه اخیر پیرامون کشتی چینی چنین استنباط شود که هوش مصنوعی نباید هیچ جایگاهی در اتاق وضعیت داشته باشد. برعکس، باید نوع طراحی و تعامل با هوش مصنوعی را به شکلی پیش برد که رهبران را نسبت به ضعف‌های فکری و سوگیری‌های ذهنیشان آگاهتر سازد، نه آنکه آن پیشفرض‌ها را تقویت کند. در فضای مه‌آلود بحران، گزینه‌ها هرگز شفاف و ساده نیستند و در نهایت تنها یک انسان بار سنگین مسئولیت تصمیم‌گیری نهایی را به دوش می‌کشد؛ از این رو ابزارهایی که توسعه می‌دهیم هرگز نباید اجازه دهند یک رئیسجمهور این حقیقت حیاتی را فراموش کند.