چالش بزرگ شرکت‌ها با ایجنت‌های هوش مصنوعی: وقتی خرابکاری رخ می‌دهد، مسئولیت با کیست؟

سان‌فرانسیسکو — شرکت‌هایی که سراغ استفاده از ایجنت‌های هوش مصنوعی (Agentic AI) می‌روند، باید کنترل‌های شفاف و دقیقی روی سطح دسترسی و اختیارات این ایجنت‌ها داشته باشند و مشخص کنند در نهایت چه کسی پاسخگوی تصمیمات آن‌هاست؛ این هشداری است که آرون لوی (هم‌بنیان‌گذار و مدیرعامل شرکت Box) و ناورینا سینگ (بنیان‌گذار و مدیرعامل Credo AI) مطرح کرده‌اند.

چرا این موضوع مهم است؟ توسعه مدل‌های هوش مصنوعی قدرتمندتر به‌تنهایی برای قابل‌اعتماد شدن آن‌ها در جریان‌های کاری حساس سازمانی کافی نیست؛ جایی که شرکت‌ها باید به شکل هم‌زمان دسترسی به داده‌ها، حریم خصوصی، رعایت قوانین و مسئولیت حقوقی تصمیمات را مدیریت کنند.

در این نشست تخصصی، اینا فرید و مدیسون میلز با لوی، سینگ و ریچارد سوکر، هم‌بنیان‌گذار و مدیرعامل You.com به گفت‌وگو نشستند؛ رویدادی در ۸ اکتبر که با حمایت شرکت IBM برگزار شد.

کارشناسان چه می‌گویند؟ ناورینا سینگ تأکید کرد که توجه جدی کسب‌وکارها به حاکمیت و نظارت بر هوش مصنوعی هنوز در «مراحل ابتدایی» قرار دارد و وضعیت فعلی شرکت‌ها اصلاً کافی نیست.

• او در ادامه گفت: «آیا سرمایه‌گذاران خطرپذیر (VC) بودجه کافی به استارتاپ‌های حوزه ایمنی و نظارت اختصاص می‌دهند؟ قطعاً خیر!»
• آرون لوی نیز معتقد است «نفوذ واقعی ایجنت‌ها در شرکت‌ها خیلی بیش‌تر از آنچه مردم تصور می‌کنند طول خواهد کشید»؛ چرا که سازمان‌ها هنوز درگیر این تصمیم‌گیری‌ها هستند که چه زمانی انسان باید روی کار نظارت کند (Human in the loop)، سهم انسان و ایجنت در انجام هر وظیفه چقدر باشد و سیاست‌های مربوط به مسئولیت حقوقی خطاها چگونه تعیین شود.
• سوکر، که هم‌بنیان‌گذار و مدیرعامل استارتاپ Recursive نیز هست، اشاره کرد که هوش مصنوعی می‌تواند به تحقیقات علمی شتاب چشمگیری ببخشد، اما تأکید کرد که توسعه‌دهندگان ابتدا باید چالش‌های بزرگی مثل «هک پاداش» (Reward Hacking) و سایر دغدغه‌های امنیتی را حل کنند.

کلام آخر: لوی می‌گوید «پرسش چند تریلیون دلاری» دنیای فناوری این است که آیا در نهایت «می‌توانیم چالش هم‌راستاسازی و ایمنی هوش مصنوعی را حل کنیم» یا نه.

بخشی از گفت‌وگوهای ویژه رویداد:

در بخش دیگری از این گردهمایی، جاناتان آداشک (معاون ارشد و مدیر روابط بین‌الملل شرکت IBM) اشاره کرد که مدیران عامل باید به چشم‌انداز کامل «حاکمیت دیجیتال» توجه داشته باشند.

• او تأکید کرد: «ماجرا فقط خود هوش مصنوعی نیست... بلکه کل اکوسیستم اهمیت دارد؛ اینکه داده‌های شما کجاست، هوش مصنوعی کجا مستقر است، چه ابزار‌های کنترلی در دست دارید و مهم‌تر از همه، اینکه وابستگی‌های سیستم خود را به شکل عمیق درک کنید.»

بررسی بیش‌تر: علاقه‌مندان می‌توانند مشروح کامل این گفت‌وگوها را در آرشیو این رویداد دنبال کنند.