پاشنه‌آشیل حاکمیت داده در شرکت‌ها؛ چرا هوش مصنوعی بزرگ‌ترین نقطه ضعف شماست؟

بانکی را تصور کنید که تمام الزامات سیاست‌های «حاکمیت داده» (Data Sovereignty) را مو‌به‌مو پیاده کرده است؛ داده‌های مشتریان در دیتاسنتری داخل مرزهای کشور نگهداری می‌شوند، یک شرکت بومی مدیریت زیرساخت‌ها را برعهده دارد و کارمندان خود بانک تمام امور روزمره را پیش می‌برند. پیاده‌سازی هرکدام از این مراحل زمان و هزینه زیادی برده، اما همه چیز دقیقاً طبق وعده‌ها پیش رفته است.

اما ماجرا از جایی جالب می‌شود که بانک تصمیم می‌گیرد برای بررسی اولیه پرونده‌های وام، از یک مدل هوش مصنوعی استفاده کند. علاوه بر این، یک ایجنت هوشمند را هم به کار می‌گیرد تا مراحل بعدی فرایند را برنامه‌ریزی و اجرا کند. این ایجنت برای بررسی هر پرونده، اطلاعات را از چند سامانه داخلی بانک و یک مرکز بیرونی اعتبارسنجی جمع‌آوری می‌کند. نکته تأمل‌برانگیز اینجاست: مدیران بانک هرگز از خود نپرسیده‌اند که اگر سازنده مدل مجبور به خاموش کردن آن شود چه اتفاقی خواهد افتاد، و حتی بررسی نکرده‌اند که این ایجنت، داده‌های حساس متقاضیان را دقیقاً به چه مقصدهایی ارسال می‌کند!

(توضیح: برخی غول‌های فناوری مانند AWS، گوگل، مایکروسافت و سیلزفورس در بازارهای جهانی تعاملات تجاری و زیرساختی گسترده‌ای با شرکت‌های تحلیل داده و مشاوره‌ای دارند.)

در مفهوم دقیق‌تر، «حاکمیت داده» یعنی تسلط کامل بر این‌که چه کسانی به داده‌ها و سیستم‌های شما دسترسی دارند و چه کسی می‌تواند کلید خاموش کردن سامانه‌ها و مدل‌های هوش مصنوعی زیربنایی شما را بزند. واقعیت این است که این کنترل را نمی‌توان با یک معدل‌گیری کلی در سطح سازمان ارزیابی کرد؛ زیرا هر فرد یا نهادی که بخواهد به داده‌های شما نفوذ کند یا سرویس شما را از کار بیندازد، تنها به یک رخنه یا یک نقطه گلوگاه (Choke Point) نیاز دارد. با این معیار، امنیت و استقلال بانک مورد نظر روی دو پایه‌ای بنا شده که کم‌ترین بازبینی روی آن‌ها صورت گرفته است: اول اینکه بانک، مدل را از سازنده‌اش اجاره کرده است؛ بنابراین تنها با یک دستور از سوی آن شرکت، فرایند پردازش وام ظرف چند ساعت متوقف می‌شود. دوم اینکه ایجنت هوشمند با هر درخواست وام، مشخصات متقاضی را برای سامانه اعتبارسنجی ارسال می‌کند. از آنجا که تصمیم‌گیری درباره وام تا حد زیادی به پاسخ این سامانه وابسته است، اگر روزی ارتباط این سامانه قطع شود، چه بلایی سر کل فرایند خواهد آمد؟

نگه‌داشتن فیزیکی داده‌ها داخل مرزهای کشور، لزوماً به معنای مصون ماندن آن‌ها از دسترسی بیرونی نیست. یک دولت خارجی می‌تواند شرکتی را که تحت حوزه قضایی‌اش فعالیت می‌کند وادار سازد داده‌های تحت کنترلش را تسلیم کند؛ حتی اگر آن داده‌ها در سرور‌های کشوری دیگر میزبانی شوند. بنابراین هر شرکتی را که داده‌های بانک را در اختیار دارد (از جمله ارائه‌دهندگان مدل هوش مصنوعی و سامانه‌های اعتبارسنجی) باید به عنوان یک درگاه نفوذ احتمالی در نظر گرفت.

بسیاری از سازمان‌ها دقیقاً در موقعیت همین بانک قرار دارند؛ آن‌ها حاکمیت داده را موضوعی حیاتی می‌دانند، اما با آن شبیه نوعی «بیمه‌نامه» برخورد می‌کنند. منظور از بیمه‌نامه این است که خیال کسب‌وکار راحت باشد اگر فردا قانون جدید، سیاست دولتی تازه یا الزامی داخلی تصویب شد، بتوانند فوراً خود را با آن وفق دهند. این شرکت‌ها انتظار دارند ارائه‌دهندگان خدماتشان هر قابلیت حفاظتی یا فنی مورد نیاز مقررات جدید را فراهم کنند. برای مثال، اگر رگولاتور تأکید کند داده‌های مشتریان حتماً باید داخل کشور بماند یا هیئت‌مدیره تصمیم به قطع همکاری با یک شرکت هوش مصنوعی بگیرد، مدیران توقع دارند بدون بازسازی زیرساخت‌ها، فوراً به یک گزینه بومی یا ارائه‌دهنده دیگر سوییچ کنند. بانک داستان ما چنین بیمه‌ای را برای دارایی‌های سنتی فناوری اطلاعات خود تهیه کرده بود؛ اما اگر فردا یک قانون مهم تغییر کند، مدل هوش مصنوعی و ایجنت هوشمند کندترین بخش‌هایی خواهند بود که قابلیت هماهنگی و تغییر دارند.

مدل هوش مصنوعی را مثل تأمین‌کننده‌ای ببینید که هر لحظه ممکن است خاموش شود

همین تابستان گذشته، دستوری از سوی دولت آمریکا باعث شد شرکت آنتروپیک (Anthropic) تنها سه روز پس از معرفی دو مدل جدیدش، دسترسی همه مشتریان را به آن‌ها قطع کند. این اقدام هم مشتریان بین‌المللی و هم کاربران آمریکایی (از جمله کاربرانی که از طریق پلتفرم‌های ابری بزرگ به مدل متصل می‌شدند) را تحت تأثیر قرار داد و مدل‌ها نزدیک به سه هفته کاملاً از دسترس خارج شدند.

تیم‌هایی که جزو اولین پذیرندگان این مدل‌های جدید و فوق‌العاده قدرتمند هستند، بیش‌ترین میزان آسیب‌پذیری و ریسک را به جان می‌خرند. همچنین باید انتظار داشت که دولت‌ها همچنان بر تعیین اینکه چه کسانی و با چه سرعتی به این مدل‌ها دسترسی داشته باشند، کنترل و نظارت کنند. به عنوان نمونه، گوگل اخیراً تصمیم گرفت مدل جدید خود به نام Gemini 4 Argon را در ابتدا تنها برای تیم‌های امنیتی معتمد منتشر کند و عرضه آن به شرکت‌ها و کسب‌وکارها را به زمانی دیگر موکول کرد. گوگل اعلام کرده در فرایندی داوطلبانه شرکت دارد که امکان بررسی زودهنگام مدل‌ها را در اختیار دولت ایالات متحده قرار می‌دهد.

مدل Fable شرکت آنتروپیک اکنون برای همه مشتریان در دسترس است. این شرکت مدل دیگری به نام Mythos را هم ارائه می‌دهد که در واقع همان مدل با محدودیت‌های ایمنی کم‌تر برای پژوهش‌های امنیتی و علوم زیستی است؛ اما در حال حاضر تنها گروه محدودی از سازمان‌های آمریکایی مجاز به استفاده از آن هستند. آنتروپیک اعلام کرده که با دولت آمریکا در حال رایزنی است تا دسترسی به این مدل را برای شرکای تجاری بیشتری در داخل و خارج از کشور فراهم کند.

شرکت‌های سازنده مدل همچنین می‌توانند بنا به صلاحدید و دلایل خاص خود، دسترسی مشتریان را قطع کنند. برای مثال، اوپن‌ای‌آی (OpenAI) تصمیم گرفته پس از تصاحب کِرسِر (Cursor، سازنده ابزار محبوب کدنویسی با هوش مصنوعی) توسط اسپیس‌ایکس، عرضه مدل‌های خود را به این ابزار متوقف کند! اوپن‌ای‌آی اعلام کرد نمی‌تواند اطمینان یابد که اسپیس‌ایکس شرایط خدمات این شرکت را رعایت خواهد کرد یا خیر. کاربران کرسر هیچ نقشی در این مناقشه نداشتند، اما به‌هرحال دسترسی آن‌ها به مدل‌های اوپن‌ای‌آی درون این محیط قطع خواهد شد؛ البته از آنجا که کرسر از مدل‌های سایر شرکت‌ها نیز پشتیبانی می‌کند، کاربران امکان جابه‌جایی و سوییچ به گزینه‌های دیگر را دارند.

برای سامانه‌هایی که از دست دادن مدل هوش مصنوعی می‌تواند کل چرخه کار را متوقف کند، عاقلانه‌ترین راهکار این است که همیشه یک مدل جایگزین را از قبل تست کرده و آماده دمِ دست داشته باشید. به یاد داشته باشید اگر مدل فعلی شما متعلق به یک شرکت آمریکایی است، انتخاب مدل پشتیبان از یک شرکت آمریکایی دیگر چاره‌ساز نیست، زیرا هر دو تحت حاکمیت همان دولت قرار دارند! یکی از گزینه‌های بسیار هوشمندانه، استفاده از مدل‌های وزن‌باز (Open-weight) است؛ یعنی مدل‌هایی که می‌توانید فایل‌های وزنی آن‌ها را مستقیماً دانلود کرده و روی سرور‌های خود اجرا کنید. سازنده مدل به هیچ وجه نمی‌تواند نسخه‌ای را که روی سرور‌های شخصی شما مستقر شده خاموش کند؛ هرچند دولت‌ها همچنان ممکن است استفاده از مدلی خاص را با موانع قانونی همراه کنند.

ایجنت هوش مصنوعی داده‌ها را به هر جا که ابزارهایش باشند می‌برد

اساس کار یک ایجنت بر فراخوانی ابزار‌ها (Tools) استوار است؛ ابزار‌هایی که در واقع سایر سامانه‌هایی هستند که ایجنت می‌تواند در آن‌ها جستجو کند، اطلاعاتشان را بخواند یا رکوردهایشان را به‌روزرسانی کند. با هر فراخوانی، داده‌ها به همان سروری فرستاده می‌شوند که ابزار در آن اجرا می‌شود و برخی از این فراخوانی‌ها بلافاصله پس از رسیدن، تغییراتی در سیستم مقصد اعمال می‌کنند. به عنوان مثال، ایجنتی که مسئول هماهنگی سفرهای کاری است ممکن است به سرویس رزرو بلیط، سامانه حسابداری هزینه‌ها و درگاه پرداخت متصل شود؛ سیستم‌هایی که هرکدام مالک، سرور و موقعیت جغرافیایی جداگانه‌ای دارند.

بیش‌تر سازوکارهای حاکمیت داده که تاکنون پیاده‌سازی شده‌اند، حول محور «افراد» و «مکان‌ها» شکل گرفته‌اند؛ یعنی مشخص می‌کنند کدام کارمندان مجاز به ورود هستند و داده‌ها در کدام سرور فیزیکی نگهداری شوند. اما یک ایجنت هوش مصنوعی، نرم‌افزاری خودمختار است که بر اساس مجوزهای تعیین‌شده‌اش به شکل مستقل عمل می‌کند. ایجنت در هر بار اجرا، خودش تصمیم می‌گیرد کدام سیستم‌ها را فراخوانی کند و چه اطلاعاتی برای آن‌ها بفرستد. بنابراین در مواجهه با ایجنت‌ها، اینکه نرم‌افزار به چه سیستم‌هایی دسترسی دارد و چه اختیاراتی به آن داده شده، به مراتب حیاتی‌تر از این است که خود نرم‌افزار کجا اجرا می‌شود.

امروزه بسیاری از ایجنت‌ها با یک کلید ذخیره‌شده (مشابه رمز عبور) به سیستم‌های سازمانی متصل می‌شوند. اگر چند ایجنت از یک کلید مشترک استفاده کنند، ردگیری دقیق اینکه کدام ایجنت چه اقدامی انجام داده غیرممکن خواهد بود. برای رفع این چالش، شرکت‌های ارائه‌دهنده خدمات احراز هویت سازوکارهایی ایجاد کرده‌اند تا هر ایجنت دقیقاً مثل یک کارمند سازمانی ثبت شود و هویت و مجوزهای دسترسی اختصاصی داشته باشد. به عنوان نمونه، Copilot Studio (ابزار مایکروسافت برای ساخت ایجنت) اکنون به طور خودکار به هر ایجنت جدید یک هویت مستقل اختصاص می‌دهد. غول‌های دیگری چون اوکتا (Okta)، آمازون وب سرویسز (AWS)، گوگل کلود و سیلزفورس نیز توافق کرده‌اند که هر ایجنت باید شناسه هویتی تأییدشده داشته باشد. تعریف چنین هویتی برای هر ایجنتی که با داده‌های حساس و رگوله‌شده سر و کار دارد، یک ضرورت بی‌چون‌وچرا است.

پیش از آن‌که هر ایجنتی عملیاتی شود و به مرحله بهره‌برداری برسد، باید ۴ پاسخ مکتوب و شفاف در دست داشته باشید: این ایجنت به چه سیستم‌هایی دسترسی دارد؟ کدام‌یک از این سیستم‌ها در اختیار ارائه‌دهنده‌ای دیگر یا در کشوری دیگر قرار دارند؟ ایجنت چه مواردی را می‌تواند بدون تأیید نهایی یک ناظر انسانی تغییر دهد؟ و در نهایت، سوابق اقدامات و کار‌های انجام‌شده توسط ایجنت در کجا ثبت و ضبط می‌شوند؟

خریداران نرم‌افزارهای سازمانی باید چه پرسش‌هایی درباره مدل هوش مصنوعی مطرح کنند؟

خریداران و مدیران فناوری باید در بررسی سامانه‌ها، سیستم به سیستم ارزیابی کنند که کدام بخش از زیرساخت تأمین‌کننده، کم‌ترین کنترل را در اختیار آن‌ها می‌گذارد. هنگامی که پای هوش مصنوعی در میان باشد، پاسخ صادقانه بدون تردید «مدل هوش مصنوعی» است. برای هر نرم‌افزاری که به هوش مصنوعی مجهز است، از فروشنده بپرسید که از چه مدلی استفاده می‌کند و اگر دسترسی به آن مدل ناگهان قطع شود، چه سرنوشتی در انتظار سرویس شما خواهد بود.

برای هر سامانه‌ای که هوش مصنوعی در آن تصمیم‌گیری می‌کند یا بر فرایند تصمیم‌ها اثر می‌گذارد، پیش از امضای قرارداد خرید باید به دو پرسش کلیدی پاسخ روشن داده باشید: اول اینکه اگر مدل فعلی از دسترس خارج شود، شما یا تأمین‌کننده نرم‌افزار به چه مدل دیگری سوییچ خواهید کرد و این فرایند جابه‌جایی چقدر زمان می‌برد؟ و دوم اینکه هر ایجنت دقیقاً به چه سیستم‌ها و داده‌هایی دسترسی دارد؟ این دو پاسخ مشخص می‌کنند که آیا برنامه حاکمیت داده شما واقعاً هوش مصنوعی را نیز تحت پوشش دارد، یا سازمانتان در برابر این تحول بزرگ کاملاً بی‌دفاع رها شده است.