بررسی پنتاگون: سیستم هدف‌گیری هوش مصنوعی عامل حمله‌ای بود که به کشته‌شدن ۱۲۰ کودک در ایران انجامید

پایگاه‌داده‌های قدیمی پنتاگون و کمبود تیم‌های نظارتی باعث شد تا سیستم هوش مصنوعی Maven متعلق به شرکت Palantir، بدون هیچ‌گونه بررسی، مجوز حمله به مدرسه میناب را صادر کند.

در ۲۸ فوریه و در نخستین روز آغاز درگیری‌ها، دو موشک تاماهاوک به دبستان شجره طیبه در میناب واقع در جنوب ایران اصابت کرد. براساس تحقیقات بلومبرگ و گزارش‌های منتشرشده، در این حمله بیش از ۱۵۰ نفر جان خود را از دست دادند که بین ۱۲۰ تا ۱۲۳ نفر از آن‌ها کودک بودند. یک بررسی داخلی پنتاگون که توسط مقامات مرتبط با این روند گزارش شده، نشان می‌دهد مجموعه‌ای از خطاهای قابل‌پیشگیری در مرکز زنجیره هدف‌گیری رخ داده که منجر به انتخاب این مدرسه به‌عنوان یک هدف شده است. هوش مصنوعی جنگ‌ها را بیش از پیش خودکار کرده و این رویداد به‌خوبی نشان می‌دهد که این روند تا چه حد می‌تواند خطرناک باشد.

چگونه یک سیستم هوش مصنوعی حرف آخر را درباره یک مدرسه زد؟

سیستم هوشمند Maven شرکت Palantir ساعت‌ها کارِ بررسی فهرست اهداف را به چند دقیقه کاهش داد، اما هرگز از آن خواسته نشد تا صحت داده‌های پایه خود را بررسی کند.

سیستم هوشمند Maven متعلق به Palantir یک پلتفرم هوش مصنوعی است که تحت قرارداد با پنتاگون فعالیت می‌کند. این سیستم طراحی شده تا بیش از ۱۵۰ منبع داده‌ای از جمله تصاویر ماهواره‌ای، ویدیوهای پهپادها و هوش سیگنالی را ترکیب کرده و توصیه‌های هدف‌گیری را ارائه دهد. از آنجا که دولت دستور حمله به بیش از ۱۰۰۰ سایت را در ۲۴ ساعت نخست صادر کرده بود، کار بررسی فهرست اهداف که پیش از این ساعت‌ها زمان می‌برد، به چند دقیقه تقلیل یافت. Maven مجتمع میناب را به‌عنوان یک هدف توصیه‌شده برگرداند، چرا که پایگاه‌داده‌های نظامی آمریکا هنوز آن را به‌عنوان یک تأسیسات نظامی طبقه‌بندی کرده بودند. هوش مصنوعی دقیقاً همان‌طور که طراحی شده بود عمل کرد؛ مشکل فاجعه‌بار این بود که هیچ‌کس از آن نخواست اطلاعات را راستی‌آزمایی کند.

پایگاه‌داده‌های ایالات متحده سال‌ها بود که این طبقه‌بندی نظامی را حفظ کرده بودند، اما واقعیت فیزیکی در میناب تغییر کرده بود. تصاویر ماهواره‌ای نشان می‌داد که تا سال ۲۰۱۷، دیوارهای جدید و ورودی‌های مجزا، این مجتمع را از هرگونه سایت نظامی مجاور جدا کرده است. تصویری از سال ۲۰۱۸ نیز دیوارهای رنگارنگ، یک زمین فوتبال و نشانه‌گذاری‌های زمین بازی را نشان می‌داد. طبق گزارش‌ها، یک تحلیلگر از سال ۲۰۱۹ متوجه این تغییرات شده و مشاهدات خود را در سیستمی ثبت کرده بود که به پایگاه‌داده اصلی هدف‌گیری متصل نبود؛ به این معنا که آن یادداشت‌ها هرگز به تیمی که بسته حمله را آماده می‌کرد، نرسید. این مدرسه وب‌سایت اختصاصی خود را داشت و در گوگل مپ نیز قابل مشاهده بود، اما بر اساس گزارش‌ها، هیچ‌یک از این اطلاعات منابع باز با فرآیند هدف‌گیری یکپارچه نشد.

هیئت حقیقت‌یاب بین‌المللی مستقل سازمان ملل دریافت که «دلایل منطقی وجود دارد که باور کنیم ایالات متحده با انجام حمله‌ای بی‌رویه که منجر به از دست رفتن جان یا جراحت غیرنظامیان و یا آسیب به اماکن غیرنظامی شده، مرتکب جنایت جنگی شده است.»

گزارش‌ها حاکی از آن است که تعداد کارکنان بخش کاهش آسیب‌های غیرنظامی پنتاگون تقریباً ۹۰ درصد کاهش یافته و به کمتر از ۲۰ نفر در کل وزارت دفاع رسیده بود. تیم اختصاصی سنتکام نیز از حدود ۱۰ کارمند به تنها یک نفر کاهش یافت. هیچ‌یک از اعضای این تیم‌ها پیش از پرتاب موشک‌ها هدف میناب را بررسی نکردند.

مسئولیت‌پذیری و محدودیت‌های انکارهای رسمی

دولت واشنگتن به انکار و فرافکنی پرداخته است، درحالی‌که بازرسان در پنتاگون و سازمان ملل به خرابی‌های سیستماتیک و رفتارهای بی‌احتیاطانه اشاره کرده‌اند.

دولت تاکنون به‌طور علنی مسئولیت این حادثه را نپذیرفته است. در ماه مارس، رئیس‌جمهور به خبرنگاران گفت: «بر اساس آنچه من دیده‌ام، به نظر من این کار توسط خودشان انجام شده است. ما فکر می‌کنیم این کار توسط آن‌ها انجام شده، زیرا همان‌طور که می‌دانید، مهمات آن‌ها بسیار بی‌دقت است.» یک مقام ارشد دولتی نیز افزود: «ایالات متحده غیرنظامیان را هدف قرار نمی‌دهد.» با این حال، هیئت حقیقت‌یاب مستقل سازمان ملل به این نتیجه رسید که ایالات متحده «در انجام وظیفه خود برای تأیید و راستی‌آزمایی اینکه هدف یک هدف مشروع نظامی بوده، کوتاهی کرده است.» آن‌ها این رفتار را بیشتر از جنس بی‌احتیاطی توصیف کردند تا صرفاً یک سهل‌انگاری.

شرکت Palantir به رسانه‌ها اعلام کرد که «مسئولیتی در قبال داده‌های پایه یا شناسایی نقص‌های اطلاعاتی ندارد» و هیچ مدرکی دال بر مقصر بودن نرم‌افزار آن وجود ندارد. افراد آشنا با قراردادهای این شرکت با پنتاگون می‌گویند که دولت ایالات متحده مسئولیت اصلی کیفیت داده‌ها و تأیید اهداف را بر عهده دارد. گزارش‌ها همچنین نشان می‌دهند که اپراتورهای آمریکایی اپلیکیشنی نظارتی برای هدف‌گیری گروه‌های سیاسی داخلی نیز ساخته‌اند که نشان می‌دهد چگونه سیستم‌های مبهم هدف‌گیری دولتی بسیار فراتر از میدان نبرد گسترش یافته‌اند. گفته می‌شود پس از این حمله، Palantir ویژگی‌هایی به Maven اضافه کرده است تا عوامل رد صلاحیت را برجسته کرده و ناسازگاری‌هایی را که ممکن است از چشم بررسی انسانی دور بماند، شناسایی کند.

بیش از ۱۲۰ نماینده دموکرات مجلس در نامه‌ای به وزیر دفاع، خواستار پاسخگویی درباره نقش دقیق Maven در انتخاب هدف میناب شدند. پنتاگون هنوز به‌طور عمومی پاسخی نداده و به بررسی داخلی در حال انجام استناد کرده است که آن هم هنوز منتشر نشده است. وقتی هوش مصنوعی تصمیماتی را که زمانی به ساعت‌ها بررسی انسانی نیاز داشت به چند دقیقه فشرده می‌کند، این پرسش که چه کسی در قبال آنچه سیستم نمی‌داند پاسخگوست، به مهم‌ترین سؤال طراحی در جنگ‌افزارهای مدرن تبدیل می‌شود. در حمله میناب، این سؤال هرگز پرسیده نشد و خود بررسی داخلی نیز از دید عموم پنهان مانده است. پیامد این موضوع، جان باختن بیش از ۱۲۰ کودک بود.