تبدیل خطاهای هوش مصنوعی به سرمایه سازمانی؛ چگونه اصلاحات متخصصان مدل‌ها را هوشمندتر می‌کند؟

بسیاری از مهاجران سخت‌کوش نسل‌های گذشته عادت داشتند هنگام تمیز کردن باغچه خود، هر سنگی را که پیدا می‌کردند در گودالی کوچک در گوشه حیاط دفن کنند تا اگر روزی به آن‌ها نیاز پیدا کردند، مصالح آماده‌ای در اختیار داشته باشند. این آینده‌نگری و صرفه‌جویی، بعدها به سرمایه‌ای برای پیشرفت نسل‌های بعدی تبدیل می‌شد.

امروزه بسیاری از شرکت‌ها در حال دور ریختن چنین سنگ‌های ارزشمندی در فضای شناختی و دانشی خود هستند. هر بار که یک متخصص در سازمان شما پیش‌نویس تولیدشده توسط هوش مصنوعی را رد می‌کند، توصیه‌ای را بازنویسی می‌نماید یا تصمیم یک مدل را نادیده می‌گیرد، سازمان شما هزینه یک درس کوچک اما گران‌قیمت را می‌پردازد؛ با این حال، اکثر شرکت‌ها هرگز این اصلاحات را ثبت و ذخیره نمی‌کنند. این محصول جانبیِ حاصل از کار با هوش مصنوعی را می‌توان «ضایعات شناختی» نامید. این ضایعات در واقع مواد اولیه‌ای برای ساخت یک دارایی ارزشمند هستند که با هر بار استفاده، کیفیت و کارایی سیستم را ارتقا می‌دهند.

سیستمی که کار می‌کرد، اما هزینه‌هایش هرگز متوقف نشد

در سال ۱۹۸۶، هفده ویراستار فنی در شرکت Digital Equipment Corporation موفق شدند بیش از ۶۰ هزار پیکربندی رایانه‌ای را تولید کنند. پنج سال پیش از آن، ۲۳ ویراستار تنها حدود ۱۹ هزار پیکربندی را به‌صورت دستی آماده کرده بودند. بر اساس آزمایش‌های داخلی این شرکت، دقت کار از حدود ۶۵ درصد به ۹۵ درصد و حتی بیشتر رسیده بود. عامل این تفاوت چشمگیر، سیستم خبره اولیه‌ای به نام XCON بود که سفارش‌های مشتریان را به نقشه‌های ساخت برای مینی‌کامپیوتر محبوب VAX تبدیل می‌کرد؛ محصولی که مشتریان علاقه داشتند آن را دقیقاً مطابق سلیقه خود سفارشی‌سازی کنند.

بررسی‌های علمی روی سیستم XCON که در یک مقاله پژوهشی در نشریه MIS Quarterly در سال ۱۹۹۰ منتشر شد، این تعامل اقتصادی میان مدل و وظایف کاری را «ساختاردهی تدریجی» می‌نامد؛ زیرا مدل در طول زمان و به‌واسطه استفاده مداوم تکامل می‌یافت. زمانی که افراد دانش تخصصی خود را در قالب قواعد ثبت می‌کردند، یک مسئله پیچیده را به شکلی صریح و شفاف درمی‌آوردند. این کار گزینه‌هایی فراتر از انجام سریع‌تر وظایف قدیمی پیش روی آن‌ها قرار می‌داد و بخش‌های ناشناخته جدیدی از کار را آشکار می‌ساخت. این مدل به قدری دقیق و کارآمد شد که شرکت Digital توانست یک مرحله کامل از فرآیند تولید را حذف کند و تنها در بخش هزینه‌های سرمایه‌ای، بیش از ۱۵ میلیون دلار صرفه‌جویی به دست آورد.

اما این موفقیت یک صورت‌حساب دائمی به‌همراه داشت. تا سال ۱۹۸۷، سیستم XCON شامل ۶ هزار و ۲۰۰ قاعده بود که حدود نیمی از آن‌ها هر سال تغییر می‌کردند. بین ۳۰ تا ۴۰ نفر به‌طور مداوم مشغول به‌روزرسانی این سیستم بودند. سیستمی که بر پایه قوانین ثابت و منجمد ساخته شود، همواره به نیروی انسانی نیاز دارد تا بتواند خود را با دنیای در حال تغییر هماهنگ نگه دارد.

دانشی که هیچ‌کس نمی‌تواند آن را روی کاغذ بیاورد

مشکل عمیق‌تر به منشأ شکل‌گیری این قوانین بازمی‌گشت. مایکل پولانی، فیلسوف و دانشمند برجسته، بر این باور بود که ما بسیار بیشتر از آنچه بتوانیم به زبان بیاوریم، می‌دانیم. یک ویراستار کهنه‌کار ممکن است اصلاً به کتابچه قوانین مراجعه نکند؛ او صرفاً با یک نگاه متوجه پاسخ نادرست می‌شود. مصاحبه با متخصصان معمولاً یک روایت مرتب و ظاهری تولید می‌کند که قوانین واقعی و پنهان را جا می‌اندازد؛ به همین دلیل است که ادوارد فایگنباوم، از پیشگامان هوش مصنوعی، استخراج دانش از ذهن متخصصان را یک گلوگاه بزرگ می‌نامید.

هوش مصنوعی مدرن این گلوگاه را از بین نبرد، بلکه آن را از «نوشتن قوانین» به «قضاوت درباره خروجی‌ها» منتقل کرد و دقیقاً همین تغییر، فرصت اصلی را رقم زده است. متخصصی که نمی‌تواند یک قانون را به‌طور دقیق فرموله و بیان کند، می‌تواند یک پاسخ بد را در عرض چند ثانیه رد کند. نقد کردن و ایراد گرفتن بسیار ارزان‌تر و سریع‌تر از توضیح دادن و تدوین قوانین است. هر بار رد کردن یک خروجی، دانشی را ثبت می‌کند که متخصص مجبور نبوده آن را بنویسد. این مکانیسم دقیقاً در قلب «یاد‌گیری تقویتی با بازخورد انسانی» (RLHF) قرار دارد که یکی از محبوب‌ترین روش‌ها برای ارتقای مدل‌های هوش مصنوعی به‌شمار می‌رود.

خطاهایی که به معیارهای آزمایش تبدیل می‌شوند

تجربه شرکت خدمات مالی مورگان استنلی (Morgan Stanley) به‌خوبی نشان می‌دهد که وقتی یک سازمان شواهد و اصلاحات را نگه می‌دارد، چه اتفاقی رخ می‌دهد. این شرکت برای هر یک از موارد استفاده از هوش مصنوعی، ارزیابی‌های دقیقی به راه انداخت که در آن متخصصان به قضاوت درباره خروجی‌ها می‌پرداختند. یک مجموعه آزمایش رگرسیون به‌صورت روزانه اجرا می‌شود و با یاد‌گیری بیشتر تیم، این چارچوب نیز گسترش یافته و آزمون‌های ترجمه برای مشتریان چندزبانه به آن اضافه شده است. این سازمان از توانایی پاسخ‌گویی به ۷ هزار پرسش، به سطحی رسید که اکنون می‌تواند بر بستر مجموعه‌ای از ۱۰۰ هزار سند پاسخ‌های دقیق ارائه دهد. قضاوت متخصصان دیگر یک بازبینی یک‌باره نیست، بلکه به استانداردی تبدیل شده است که سیستم هر روز با آن روبه‌رو می‌شود.

همین اصل در هر فرآیند کنترل کیفیتی به کار می‌رود. شرکت تویوتا قطعات معیوب و خطاها را دور نمی‌ریزد؛ بلکه آن‌ها را دسته‌بندی می‌کند، ریشه مشکلات را می‌یابد و فرآیند تولید را تغییر می‌دهد. مدیران مدل‌های هوش مصنوعی نیز باید با ضایعات شناختی دقیقاً به همین شکل رفتار کنند. اصلاحی که فقط یک پاسخ را درست می‌کند، ارزش محدودی دارد؛ اما اصلاحی که به یک نمونه تأییدشده، یک دستورالعمل بهتر یا یک آزمون استاندارد تبدیل شود، یک دارایی ماندگار برای سازمان می‌سازد.

ضایعات شناختی می‌توانند به چهار بخش هدایت شوند: آزمون‌ها، دستورالعمل‌ها، نمونه‌های آموزشی و سیستم‌های راستی‌آزمایی. بسیاری از شرکت‌ها کار را با دو مورد اول آغاز می‌کنند. این رویکرد به‌ویژه در جاهایی که می‌توان به‌سرعت درستی یا نادرستی نتیجه را تشخیص داد، بیشترین ارزش را ایجاد می‌کند.

اهمیت این رویکرد در دنیایی که مدام تغییر می‌کند

قوانین ایستا و ثابت خیلی زود کهنه می‌شوند و این دقیقاً نقطه ضعف سیستم XCON بود. یک چرخه یاد‌گیری پویا می‌تواند از این مشکل جلوگیری کند؛ زیرا در این حالت، دارایی اصلی سازمان نه کتابچه قوانین است و نه خودِ مدل هوش مصنوعی. دارایی واقعی، همان چرخه‌ای است که هر اصلاح جدید را به یک بهبود آزمایش‌شده تبدیل می‌کند. مدل زیربنایی می‌تواند تغییر کند، اما چرخه یاد‌گیری باقی می‌ماند و هر دور از این فرآیند، هزینه دور بعدی را کاهش می‌دهد. هوش مصنوعی در صورت مدیریت صحیح، «سرمایه شناختی» خلق می‌کند؛ دارایی ارزشمندی که با هر بار استفاده، سود و کارایی آن به‌صورت تصاعدی افزایش می‌یابد. (جزئیات بیشتر درباره مفهوم سرمایه شناختی در مقاله‌ای پیرامون شرکت‌های بایونیک تشریح شده است.)

البته در این مسیر سه محدودیت مهم وجود دارد. اول اینکه بدترین ضایعات شناختی ممکن است نامرئی باشند؛ زیرا خطاهایی که متخصص بدون متوجه شدن آن‌ها را می‌پذیرد، هرگز وارد گزارش‌ها نمی‌شوند. دوم اینکه متخصصان اغلب پس از انجام ویرایش، دلایل خود را توجیه و ساده‌سازی می‌کنند؛ بنابراین باید خودِ ویرایش انجام‌شده را ثبت کنید و به‌جای اعتماد مطلق به‌دلیل بیان‌شده، آن‌ها را نمونه‌گیری و بررسی نمایید. در نهایت، کارایی این چرخه را بر اساس نتایج واقعی بسنجید، نه صرفاً بر اساس تأییدیه‌ها؛ در غیر این صورت، سیستم یاد می‌گیرد که به‌جای حل درست مسئله، فقط رضایت بازبین را جلب کند.

چهار گام عملی برای شروع در سازمان

1. یک تصمیم‌گیری تکرارشونده را انتخاب کنید که حداقل سه بخش مختلف سازمان به آن وابسته هستند.
2. هر اصلاح و ویرایش را همراه با یک کد علت ثبت کنید تا این ضایعات شناختی قابل دسته‌بندی و مطالعه باشند.
3. فردی را مأمور کنید تا الگوهای استخراج‌شده از این خطاها را به بهبودهای آزمایش‌شده در سیستم تبدیل کند.
4. مشخص کنید افرادی که پیش از این وقت خود را صرف آن کارهای تکراری می‌کردند، اکنون سراغ حل کدام مسائل جدید و ارزشمندتر خواهند رفت.

گذشتگان سنگ‌های باغچه خود را نگه می‌داشتند چون می‌دانستند روزی به کارشان می‌آید؛ شما هم اصلاحات و تجربیات شناختی سازمان خود را دور نریزید.