انسان پشت فرمان، نه وسط دستوپا! فرمول جدید و حیاتی برای مدیریت ایجنتهای هوش مصنوعی
خیلیها فکر میکنند برای کار با ایجنتهای هوش مصنوعی باید ثانیهبهثانیه کارهایشان را چک کرد، اما مدیر ارشد شرکت سلزفورس میگوید این رویکرد کاملاً اشتباه است. در دنیای جدید ایجنتها، انسان نباید در جزئیات دستوپاگیر گیر کند؛ بلکه باید مثل یک کاپیتان پشت فرمان بنشیند، اهداف و خطوط قرمز را مشخص کند و هدایت کلی را به دست بگیرد.

در یک نگاه (نکات کلیدی خبر)
خلاصه مهمترین نکات و تحولات این گزارش برای مطالعه سریع
- چک کردن تکتک دادهها و مراحل کار ایجنتهای هوش مصنوعی اشتباه است و فلسفه استفاده از آنها را زیر سؤال میبرد؛ انسان باید نقش ناظر کل و هدایتگر را ایفا کند.
- پائولا گلدمن از شرکت سلزفورس معتقد است تعیین اهداف شفاف، مشخص کردن خطوط قرمز و تعیین موارد ارجاع به مدیر انسانی، ۳ گام حیاتی قبل از سپردن کارها به ایجنتهاست.
- ثبت دقیق ردپای فعالیتها (Audit Trail) برگ برنده نظارت سازمانی است؛ باید دقیقاً بدانید ایجنت چه کرده تا در صورت بروز ناهماهنگی، فوراً متوجه شوید.

وقتی پای هوش مصنوعی به میان میآید، خیلی از ما دچار یک پیشفرض کاملاً اشتباه میشویم: تصور میکنیم یک انسان باید مدام در مدار بماند و روی تکتک فرآیندهایی که به هوش مصنوعی سپرده میشود نظارت کند. اما واقعیت این است که درست مثل یک مدیر که کار تمام کارمندانش را ثانیهبهثانیه دوباره چک نمیکند، در مورد هوش مصنوعی هم باید نظارت کلی حاکم باشد؛ یعنی تعیین اهداف، مشخص کردن خطوط قرمز، ثبت گزارش ردپای فعالیتها، سقف مصرف توکن و ایجاد ساختار پاسخگویی برای ایجنت.
این راهکار را پائولا گلدمن، مدیر ارشد استفاده اخلاقی و انسانی و معاون ارشد محصول در شرکت سلزفورس (Salesforce) مطرح کرده است. گلدمن که نویسنده کتاب «مدیریت ماشین: چگونه از همکاری انسان و هوش مصنوعی در محیط کار بهره ببریم» هم هست، در برنامه ویدیویی CXOTalk توضیح داد که انتخاب کارها و وظایفی که به یک ایجنت میسپارید، مستقیماً خروجی، هزینهها و ریسکهای شما را تعیین میکند.
او میگوید پرسش اصلی که باید از خودمان بپرسیم این است: «فناوری اجازه دارد چه تصمیماتی بگیرد و انسانها باید مسئولیت چه تصمیماتی را به دوش بکشند؟» اینکه انسان پشت فرمان بنشیند — و نه اینکه صرفاً وسط کارها گیر بیفتد — کلید اصلی تعیین اهداف، مرزهای کاری و شرایط ارجاع به انسان است تا بعداً بتوان از روی لاگها و ردپای ثبتشده، خطاهای احتمالی را ردیابی کرد.
گلدمن تأکید میکند که رویکرد قدیمی «انسان در مدار» (Human in the Loop) در دنیای ایجنتهای هوش مصنوعی اصلاً جواب نمیدهد: «تمام فلسفه یک ایجنت این است که بتواند در مسیر رسیدن به یک هدف، زنجیرهای از مراحل پیچیده را سبکسنگین کرده و اجرا کند. اینکه یک انسان بخواهد بین ۵۰ هزار داده بنشیند و تکتک آنها را دستی تأیید کند، نه عملی است و نه منطقی؛ در واقع با این کار کل فلسفه استفاده از ایجنت را زیر سؤال بردهاید.»
در عین حال، حیاتی است که انسانها متوجه شوند اوضاع کِی به هم میریزد و پارامترها را از قبل طوری تنظیم کنند که اتفاقات غیرعادی بلافاصله به مدیران انسانی گزارش شود. گلدمن میگوید: «این دقیقاً همان چیزی است که ما به آن انسان پشت فرمان میگوییم. در این حالت، کنترل و مسئولیت نهایی همچنان با آدمهاست و آنها ابزار را طوری تنظیم میکنند که نتیجه درست حاصل شود؛ اما همزمان از قدرت فوقالعاده ایجنت هم برای پیشبرد خودکار کارها استفاده میکنند.»
گلدمن این مراحل کلیدی را برای راهاندازی و استفاده از ایجنتها پیشنهاد میدهد:
- تعیین اهداف اصلی ایجنت: دقیقاً میخواهید روی چه موضوعی کار کند؟
- مشخص کردن خطوط قرمز: موضوعات، وظایف یا موقعیتهایی که ورود ایجنت به آنها ممنوع است را شفاف کنید.
- تعیین موارد ارجاع: موقعیتها و مسائلی که حتماً باید برای تصمیمگیری نهایی به مدیر انسانی ارجاع داده شوند را مشخص کنید.
- ساخت یک چارچوب شفاف برای پاسخگویی: همانطور که هیچوقت یک شعبه جدید باز نمیکنید یا نیروی تازهای استخدام نمیکنید که به هیچکس گزارش ندهد، در مورد ایجنت هم همین است. برای مثال، تیم فناوری اطلاعات میتواند مسئول زیرساخت فنی باشد و مدیران کسبوکار استانداردهای کیفی و دانش تخصصی را مدیریت کنند.
او اضافه میکند که نکته به همان اندازه مهم دیگر، مشارکت دادن کارمندان در نحوه پیادهسازی هوش مصنوعی است: «افرادی که خودشان مستقیماً مشغول انجام کارها هستند، بهتر از هر کس دیگری میدانند هوش مصنوعی چطور میتواند به بهبود امور کمک کند و خطرات یا تلههای کار کجاست.»
بخش حیاتی دیگر برای موفقیت پروژههای هوش مصنوعی، ایجاد یک گزارش ردپای فعالیت (Audit Trail) است. گلدمن تأکید میکند: «ثبت دقیق لاگها و ردپای کار ایجنت فوقالعاده مهم است. نباید یک ایجنت را بدون کنترل رها کنید تا یک مشکل بزرگ کاری را حل کند. این کنترلها باید از ابتدا ساخته شوند. ردپای فعالیتها مثل فاکتور و رسید کار است و دقیقاً نشان میدهد ایجنت چه مراحلی را طی کرده است. در یک سازمان، افراد زیادی با ایجنت در تعامل خواهند بود و شما باید بدانید در این تعاملها چه گذشته است.»
انسان پشت فرمان باید «بتواند کنترلها را طوری بچیند که سیستم دقیقاً بداند دنبال چه ناهماهنگیهایی بگردد؛ چون حجم دادهها آنقدر زیاد است که چک کردن دستی آنها غیرممکن خواهد بود.»
برچسب های مرتبط
مطالب مرتبط و پیشنهادی

حواشی نامگذاری ایجنت جدید اوپنایآی؛ دردسرهای بیپایان «Dots» و موجسواری ایلان ماسک!
اوپنایآی از سیستم ایجنت جدید خود به نام «Dots» رونمایی کرده، اما این نامگذاری حسابی در فضای مجازی جنجال به پا کرده است. از تشابه اسمی با چند شرکت چینی و هجوم کاربران به پیج اینستاگرام یک برند لباس زنانه گرفته تا ترول زیرکانه شرکت هوش مصنوعی ایلان ماسک با دامنه Dot.com، همهچیز دست به دست هم داده تا این رونمایی حسابی سوژه شبکههای اجتماعی شود.

کتوشلوار سازمانی بر تن OpenClaw؛ ائتلاف اوپنایآی و رد هت برای نجات ایجنتها از تحریم اداری!
پروژه پرطرفدار OpenClaw با همراهی رد هت، انویدیا و اوپنایآی، در حال ساخت نسخهای سازمانی موسوم به OCE است تا نگرانیهای امنیتی شدید شرکتها را رفع کند. این پروژه که لقب «کوبرنتیز برای ایجنتها» را به همراه دارد، به دنبال استانداردسازی و کنترل همهجانبه روی دستیاران هوشمند سازمانی است.

از بیل مکانیکی تا پلتفرم هوشمند؛ بابکت چطور با هوش مصنوعی ماشینهای سنگین را متحول میکند؟
روی گرکو، مدیر ارشد دیجیتال شرکت بابکت، از استراتژی این برند پرآوازه ماشینآلات سنگین برای پیوند زدن لودرها و بیلهای مکانیکی با هوش مصنوعی و نرمافزار پرده برداشته است؛ تحولی که ابزارهای سخت کارگاهی را به پلتفرمهای متصل و دستیارهای هوشمند ارتقا میدهد.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.