بحران جعبه سیاه ایجنت‌ها در دنیای مالی؛ خطری که هیچ‌کس سر از کارش درنمی‌آورد!

صنعت خدمات مالی با سرعتی باورنکردنی در حال عبور از هوش مصنوعی پاسخ‌دهنده به سوالات و رسیدن به هوش مصنوعی اهل عمل است؛ تحولی بزرگ که مفهوم «مسئولیت‌پذیری» را به کلی دگرگون می‌کند. در همین راستا، برنامه دولتی پذیرش هوش مصنوعی در خدمات مالی نیز از فعالان این حوزه خواسته تا از پروژه‌های آزمایشی فراتر بروند و پای هوش مصنوعی را به قلب فرآیندهای اصلی باز کنند.

ایجنت‌های هوش مصنوعی می‌توانند ساختار کاری موسسات مالی را دگرگون کنند؛ از پیگیری هشدارهای کلاهبرداری و رسیدگی به پرونده‌های خسارت بیمه گرفته تا کمک به تیم‌های تطبیق قوانین. اما وقتی هوش مصنوعی به جای ارائه پاسخ، دست‌به‌کارِ اقدام و اجرا می‌شود، شرکت‌ها دیگر فقط نباید بدانند یک تصمیم چطور گرفته شده، بلکه باید دقیقاً ببینند قدم بعدی چیست و چه اتفاقاتی در پی آن رخ می‌دهد.

دیدگاه ارائه‌شده توسط مدیر بخش خدمات مالی بریتانیا و ایرلند در شرکت UiPath

مسئله «توضیح‌پذیری» همچنان چالش اصلی هوش مصنوعی در حوزه مالی است؛ موضوعی که به تعبیر نیکیل راتی (مدیر ارشد سازمان نظارت بر رفتار مالی بریتانیا - FCA)، با ورود هوش مصنوعی به فاز «هماهنگی و انجام تراکنش‌ها»، پیچیده‌تر و حساس‌تر از همیشه می‌شود.

بنابراین، شفاف بودن خودِ مدل هوش مصنوعی فقط نیمی از ماجراست. موسسات باید در تمام طول جریان کار به شفافیت عملیاتی برسند؛ جایی که هماهنگ‌سازی کسب‌وکار بر پایه ایجنت‌ها نشان دهد هر ایجنت به کدام سیستم‌ها سرک کشیده، چه اقداماتی انجام داده و قضاوت نیروی انسانی در کجای مسیر اعمال شده است. همین شفافیت است که اجازه می‌دهد ایجنت‌ها، کارکنان و سیستم‌های فعلی در چارچوب قوانینی مشخص کنار هم کار کنند.

جعبه سیاه هوش مصنوعی حالا به جریان کار وارد شده است

این نگرانی کاملاً جدی و ملموس است؛ آمار‌ها نشان می‌دهند ۴۸ درصد از مدیران ارشد مالی در بریتانیا می‌گویند شرکت‌هایشان از ایجنت‌های هوش مصنوعی استفاده می‌کنند، اما جالب اینکه بیش از یک‌چهارم آن‌ها اعتراف کرده‌اند هیچ نظارت دقیق یا سازوکار مشخصی برای اطمینان از تطابق با قوانین و مقررات ندارند!

این شکاف نظارتی خطرساز است، چون ایجنت‌ها چالش مدیریتی پیچیده‌تری به همراه می‌آورند. آن‌ها می‌توانند بین سیستم‌های مختلف جابه‌جا شوند، داده‌ها را تحلیل کنند، ابزار‌های لازم را برگزینند و مشخص کنند در مرحله بعد چه کاری انجام شود.

نتیجه این روند، ایجاد فرآیندی مانند یک «جعبه سیاه» است که در آن تصمیم‌گیری‌ها میان چندین ابزار و سیستم مختلف پخش می‌شود و دیگر نمی‌توان به راحتی ردپای یک مسئول مشخص را پیدا کرد.

برای نمونه، پرونده خسارت یک بیمه‌نامه را در نظر بگیرید: شاید یک ایجنت مدارک را جمع‌آوری کند، آن را با شرایط بیمه‌نامه بسنجد و پرونده را برای بررسی دقیق‌تر ارجاع دهد. ایجنت دیگری ممکن است مستقیماً با مشتری تماس بگیرد یا حتی پیشنهاد قطع پرداخت را صادر کند.

اما تصمیم سرنوشت‌ساز اصلی دقیقاً کجا و توسط کدام بخش گرفته شد؟ اگر شکایتی ثبت شود یا اعتراضی صورت گیرد، سازمان باید بتواند کل این مسیر را از نو بازسازی و موشکافی کند.

یک اشتباه به ظاهر کوچک از سوی یک ایجنت می‌تواند بارها تکرار و بزرگ‌تر شود. خطر واقعی فقط توهم هوش مصنوعی (Hallucination) نیست، بلکه دومینویی از اقدامات است که در پی آن راه می‌افتد؛ یک خطای ریز ممکن است قبل از اینکه کسی متوجه شود، باعث مسدود شدن حساب مشتری، ارسال پیام‌های اشتباه یا حتی ارائه گزارش‌های نادرست به نهادهای نظارتی شود.

این دیدگاه دقیقاً منطبق بر قوانین تاب‌آوری عملیاتی نهاد نظارتی FCA است؛ قوانینی که از شرکت‌ها می‌خواهد خدمات کلیدی خود را نقشه‌برداری کرده، آسیب‌پذیری‌ها را بشناسند و بدانند هر اختلال چطور در دل سیستم سرایت می‌کند. هوش مصنوعی مستقل و ایجنت‌محور هم نیازمند همین سطح از شفافیت است تا بتوان دید یک خطا چگونه در یک مسیر تمام‌خودکار پیش می‌رود.

مسئولیت‌پذیری نباید فقط به مدل هوش مصنوعی محدود شود

با گسترش فعالیت هوش مصنوعی در سیستم‌های گوناگون، زنجیره پاسخگویی باید در سراسر مسیر کار دنبال شود، نه اینکه فقط روی خودِ مدل متوقف بماند.

در ماه ژانویه، کمیته خزانه‌داری هشدار داد که رویکرد «دست روی دست گذاشتن و تماشا کردن» دولت بریتانیا در قانون‌گذاری هوش مصنوعی در حوزه مالی، می‌تواند مصرف‌کنندگان و کل سیستم را با آسیب‌های سنگین روبه‌رو کند. این کمیته همچنین خواستار دستورالعمل‌های شفاف‌تر برای حفظ حقوق مشتریان و تعیین مسئولیت دقیق مدیران ارشد شد.

موسسات مالی به ابزار‌های نظارتی همگام با سرعت فرآیندها نیاز دارند؛ سیستم‌هایی که مالکیت تصمیم‌ها در آن‌ها شفاف باشد و تمامی اقدامات با قابلیت حسابرسی دقیق ثبت شوند.

چالش اصلی اینجاست که هیچ تیمی به تنهایی دید کاملی به کل فرآیند ایجنت‌ها ندارد؛ تیم تطبیق قوانین از سیاست‌ها سر درمی‌آورد، تیم فنی روی مدل مسلط است، تیم عملیات مسیر مشتری را می‌شناسد و ارائه‌دهنده خارجی هم بخشی از زیرساخت را مدیریت می‌کند. در این میان، یک ایجنت می‌تواند در عرض چند ثانیه میان هر چهار بخش جابه‌جا شود! این همان پدیده‌ای است که به آن «تکثیر کنترل‌نشده ایجنت‌ها» (Agent Sprawl) می‌گویند؛ وضعیتی که در آن ایجنت‌ها سریع‌تر از توان پیگیری تیم‌ها در سیستم‌ها پخش می‌شوند.

در نتیجه چنین وضعیتی، یک مدیر ارشد ممکن است قانوناً مسئول عواقب یک تصمیم شناخته شود، در حالی که حتی به شواهد و جزئیات چگونگی رخ دادن آن ماجرا دسترسی ندارد!

حضور نیروی انسانی همیشه به معنای نظارت واقعی نیست

اصطلاح «حضور انسان در چرخه» (Human-in-the-loop) معمولاً به عنوان نمادی از هوش مصنوعی مسئولانه استفاده می‌شود؛ یعنی قرار دادن یک انسان در نقطه‌ای از فرآیند تا تصمیمات تولیدشده توسط هوش مصنوعی را بازبینی یا تایید کند.

اما نظارت واقعی و معنادار، به این بستگی دارد که آن ناظر چه چیز‌هایی را می‌بیند و آیا اصلاً قدرت مداخله دارد یا خیر. کارمندی که پیشنهاد یک ایجنت را دریافت می‌کند، شاید نداند ایجنت به چه سیستم‌هایی دسترسی داشته، آیا اطلاعات کامل بوده یا چه کار‌هایی قبلاً صورت گرفته است. اینجاست که یک پیشنهاد موجه و شیک می‌تواند خیلی سریع به یک «مهر تایید صوری و فرمالیته» تبدیل شود.

نظارت باید متناسب با سنگینی عواقب اقدامات باشد؛ کار‌های اداری کم‌ریسک شاید فقط به یک مانیتورینگ ساده نیاز داشته باشند، اما مسدود کردن حساب بانکی یک مشتری، رد کردن پرونده خسارت بیمه یا اعلام گزارش تخلف مالی، نیازمند سطح بسیار بالاتری از نظارت واقعی انسانی است.

ناظر انسانی باید مدارک و مستندات پشت پیشنهاد، سوابق مراحل قبلی و قدرت تغییر یا لغو تصمیم را در اختیار داشته باشد. هدف این نیست که جلوی هر کار ساده یک کلیک انسانی بگذاریم و سیستم را کند کنیم، بلکه هدف این است که قضاوت انسانی در حساس‌ترین و پرپیامدترین نقطه‌ها وارد میدان شود. ایجنت‌ها می‌توانند استدلال کنند و ابزار‌ها می‌توانند اقدام کنند، اما در نهایت فقط انسان‌ها هستند که می‌توانند رهبری کنند؛ و این رهبری به دید کامل نیاز دارد، نه فقط داشتن حق وتو در تاریکی.

کل مسیر را حسابرسی کنید، نه فقط نتیجه نهایی را

سیستم‌های سنتی حسابرسی معمولاً فقط ورودی فرآیند و خروجی تصمیم نهایی را ثبت می‌کنند. اما فرآیندهای ایجنت‌محور به ثبت تک‌تک اتفاقاتی نیاز دارند که میان این دو نقطه رخ می‌دهد.

موسسات مالی باید بدانند کدام ایجنت وارد عمل شد، چه اطلاعاتی استخراج کرد، از چه سیستم‌ها و ابزار‌هایی بهره برد، کدام قوانین روی آن اعمال شد و انسان در چه نقطه‌ای دستور آن را اصلاح یا لغو کرد. ارکستراسیون و هماهنگ‌سازی ایجنت‌ها می‌تواند این تعاملات را در قالب یک گزارش منسجم ثبت کند تا بتوان تمامی اقدامات را زیر نظر گرفت، محدود کرد و در صورت نیاز، فوراً متوقف ساخت.

این شفافیت باید شامل سرویس‌های شخص ثالث هم بشود؛ حتی اگر بخشی از کار به یک سرویس بیرونی واگذار شده باشد، موسسه مالی همچنان باید اطلاعات کافی برای بررسی نتایج در اختیار داشته باشد تا ثابت کند سیستم‌های نظارتی‌اش مو‌به‌مو و درست کار کرده‌اند.

اول مهار و کنترل، بعد استقلال عمل

ایجنت‌های هوش مصنوعی می‌توانند بار کار‌های تکراری را بردارند و به کارمندان فرصت دهند تا روی پرونده‌هایی با نیاز واقعی به قضاوت انسانی تمرکز کنند. اما گسترش این مزیت بزرگ، به این بستگی دارد که شرکت‌ها بتوانند عملکرد ایجنت‌ها را ببینند و مهار کنند؛ تعادلی هوشمندانه که گاهی به آن «عاملیت کنترل‌شده» می‌گویند؛ یعنی استقلال عملی واقعی، اما در حصار شفافیت و مرزهای مشخص.

هر فرآیند حساس و پرپیامدی به مالکیت مشخص، دسترسی‌های تعریف‌شده و ردپای حسابرسی شفاف نیاز دارد. شرکت‌ها همچنین باید این قدرت را داشته باشند که در صورت خروج ایجنت از چارچوب‌های تعیین‌شده، بلافاصله وارد عمل شوند و جلویش را بگیرند.

هم‌زمان با گذار دنیای مالی از هوش مصنوعی مشاور به هوش مصنوعی مجری و کنش‌گر، قدرتمندترین سیستم‌ها آن‌هایی خواهند بود که تمام اقداماتشان قابل ردیابی، ارزیابی و توقف باشد. این تنها راهی است که به موسسات اجازه می‌دهد استقلال هوش مصنوعی را بدون از دست رفتن مسئولیت‌پذیری بالا ببرند و با خیالی آسوده، پای ایجنت‌ها را به سطوح گسترده‌تری باز کنند.