حلقه مفقوده در توسعه سیستم‌های هوشمند: چرا به تفکیک قوای الگوریتمی نیاز داریم؟

بخش عمده‌ای از بحث‌های پیرامون قانون‌گذاری هوش مصنوعی تاکنون به این پرسش پرداخته است که هوش مصنوعی مجاز به انجام چه کارهایی است. اما به نظر می‌رسد پرسش مهم‌تری وجود دارد که هنوز به‌دقت بررسی نشده است: چه چیزی به قدرت الگوریتم‌ها مشروعیت می‌بخشد؟

هشدار منتسکیو درباره تمرکز قدرت برای نهادهای سیاسی نوشته شده بود، نه الگوریتم‌ها. با این حال، منطق پنهان آن ارتباط شگفت‌انگیزی با هوش مصنوعی دارد. وقتی یک سازمان واحد می‌تواند سیستم الگوریتمی طراحی کند که هم‌زمان قانون‌گذاری، اجرا و قضاوت را در هم می‌آمیزد، مجوز استقرار آن را صادر می‌کند و درباره قابل‌قبول بودن پیامدهایش تصمیم می‌گیرد، در واقع سه شکل از قدرت که سیستم‌های قانون اساسی در طول تاریخ برای تفکیک آن‌ها تلاش کرده‌اند، در یک نهاد واحد متمرکز می‌شود.

این همان فرضیه‌ای است که همیلتون من (Hamilton Mann) در کتاب جدید خود با عنوان Trias Algorithmica: What Code Rules به آن پرداخته است. این موضوع نقطه آغاز گفت‌وگویی با مت سیموندز (Matt Symonds)، سردبیر پلتفرم BlueSky Thinking (پلتفرمی در حوزه آموزش کسب‌وکار و تحقیقات مدیریت) بود.

این گفت‌وگو از تفاوت میان قانونی بودن و مشروعیت آغاز می‌شود و به این می‌پردازد که سازوکارهای تأیید مستقل برای هوش مصنوعی پیش از عرضه عمومی چگونه باید باشند، و در نهایت به یک پرسش کاربردی می‌رسد که هر هیئت‌مدیره و تیم اجرایی باید بتواند به آن پاسخ دهد: چه کسی می‌تواند چه کسی را متوقف کند؟

در ادامه، نسخه ویرایش‌شده این گفت‌وگو را می‌خوانید.

مت سیموندز: شما در کتاب اول خود، Artificial Integrity، این پرسش را مطرح کردید که آیا می‌توان ماشین‌هایی ساخت که دارای قطب‌نمای اخلاقی باشند. اما در Trias Algorithmica می‌پرسید چه کسی در وهله اول به آن‌ها چنین قدرتی داده است. چه چیزی بین این دو کتاب تغییر کرد؟

همیلتون من: کتاب Artificial Integrity با ماشین آغاز می‌شد، اما Trias Algorithmica با مفهوم قدرت شروع می‌شود. بنابراین آنچه تغییر کرده، واحد تحلیل است.

کتاب اول می‌پرسید که چگونه هوش می‌تواند شایسته اعتماد شود. اگر قرار است به سیستم‌های توانمندتر نقشی در تصمیم‌گیری‌های انسانی بدهیم و ظرفیت تصمیم‌گیری مستقل آن‌ها را افزایش دهیم، باید به‌گونه‌ای ساخته شوند که هوش با چیزی شبیه به یکپارچگی اخلاقی همراه باشد: یعنی توانایی همسویی با اهداف اخلاقی و پیامدهای اجتماعیِ کارهایی که انجام می‌دهند. هوشِ بدونِ اخلاق می‌تواند به‌طرز درخشانی برای هدفی که به آن داده شده بهینه‌سازی شود، حتی اگر پیگیری آن هدف به‌شدت برای جامعه مضر باشد.

کتاب Trias Algorithmica یک سطح بالاتر می‌رود. حتی اگر بتوانیم ماشینی بسازیم که اخلاق را بر هوش مقدم بداند، آیا آن ماشین و سازمان سازنده آن اصلاً باید اجازه اعمال قدرت بر دیگران را داشته باشند؟ مسئله دیگر فقط کیفیت قضاوت الگوریتمی نیست، بلکه مشروعیت قدرت الگوریتم‌هاست.

الگوریتم‌ها انسان‌ها را رتبه‌بندی می‌کنند، فرصت‌ها را تخصیص می‌دهند، دانش را جهت‌دهی می‌کنند، میزان دیده‌شدن را تعیین می‌کنند، ریسک‌ها را قیمت‌گذاری می‌کنند و روزبه‌روز شرایطی را که تصمیمات انسانی در آن اتخاذ می‌شود، بیشتر تعیین می‌کنند. پرسش درباره اخلاقی بودن یک سیستم همچنان ضروری است، اما دیگر کافی نیست.

وجود افراد مسئولیت‌پذیر برای ساخت ماشین‌های مسئولیت‌پذیر کافی نیست. رقابت می‌تواند بازیگران مسئولیت‌پذیر را به سمت نتایجی سوق دهد که خودشان هم خطرناک بودنشان را قبول دارند. ما دیده‌ایم که رهبران پیشگام هوش مصنوعی آشکارا به خطرات ساخته‌های خود اعتراف می‌کنند، اما هم‌زمان از فشارهای رقابتی می‌گویند که خویشتن‌داری را دشوار می‌کند. بیانیه‌های اخیر در این باره، تکرار همان هشدارهایی است که همین رهبران سال‌ها پیش نیز مطرح می‌کردند.

در اوایل سال ۲۰۲۳، Sam Altman از شرکت OpenAI به همراه گرگ براکمن و ایلیا سوتسکور هشدار دادند که سیستم‌های پیشرفته هوش مصنوعی می‌توانند قدرتی فراتر از هر فناوریِ خلق‌شده تاکنون داشته باشند. آن‌ها هم‌زمان استدلال کردند که توقف روند ساخت هوش جامع مصنوعی بسیار دشوار خواهد بود، زیرا هزینه توسعه آن در حال کاهش و «تعداد بازیگران درگیر در ساخت آن به‌سرعت در حال افزایش است».

در همان سال، داریو آمودی (Dario Amodei) مدیرعامل Anthropic نیز هشدار مشابهی داد و گفت هوش مصنوعی در حال پیشرفتِ سریع، ممکن است به قابلیت‌های خطرناکی از جمله در زمینه سلاح‌های بیولوژیکی دست یابد و تهدیدات ناشی از آن «احتمالاً در آینده‌ای نزدیک و نامشخص بسیار جدی خواهند شد». خط‌مشی مقیاس‌پذیری مسئولانه خود Anthropic صراحتاً به خطر «مسابقه به سوی پایین» در زمینه ایمنی اشاره می‌کند و می‌گوید اینکه مدل‌های شرکت‌های دیگر ممکن است خطرات فاجعه‌باری داشته باشند، نباید دلیلی برای کاهش استانداردهای ایمنی Anthropic باشد.

به نظر من، فراتر از هیاهوها، شکست اصلی در اینجا یک شکست اخلاقی نیست؛ بلکه نهادی و دقیق‌تر بگوییم، قانون‌اساسی‌محور است. قانون‌گذاری تعیین می‌کند که سیستم‌های الگوریتمی باید از چه قوانینی پیروی کنند. اما در سطحی بنیادی‌تر، طراحی قانون اساسی، پایه مشروعیتی را تعیین می‌کند که خود قوانین باید بر آن استوار باشند. این ساختار باید تعریف کند که قدرت الگوریتم‌ها چگونه شکل می‌گیرد، تقسیم می‌شود و محدود می‌گردد، تا قدرت همواره با قدرتِ متقابل روبه‌رو شود و از تمرکز آن تا حد رسیدن به اقتدارگرایی مطلق جلوگیری گردد.

تحقیقات فعلی من نشان می‌دهد که تلاش برای ایجاد یکپارچگی اخلاقی در سیستم‌های الگوریتمی شبیه به شمشیر دولبه است. هرچه این سیستم‌ها قابل‌اعتمادتر شوند، ممکن است کمتر به پیش‌فرض‌های نهفته در آن‌ها شک کنیم یا آن‌ها را زیر سؤال ببریم. اعتماد همان‌قدر که می‌تواند مفید باشد، از نظر شناختی بی‌حس‌کننده است. یک سیستم الگوریتمی اخلاق‌مدار اگر قدرتش غیرقابل‌اعتراض، خودتأییدکننده یا خودقضاوت‌گر باشد، همچنان یک معضل خواهد بود. مشروعیت باید از بیرون سیستم بیاید و باید از توانایی سیستم در جلب اعتماد ما متمایز باشد.

این همان تغییر رویکرد است: گذار از طراحیِ تصمیم‌گیرندگانِ مصنوعیِ بهتر، به سوی طراحی یک نظم اجتماعیِ الگوریتمی که در آن هیچ بازیگر واحدی، چه مصنوعی و چه انسانی، نتواند به‌تنهایی معماری را طراحی کند، به‌تنهایی آن را کنترل کند یا از طریق منابعی که در اختیار دارد به قدرت مطلق دست یابد.

مت سیموندز: ما قانون هوش مصنوعی اروپا (EU AI Act) را داریم و کمبودی هم در زمینه حاکمیت شرکتی هوش مصنوعی احساس نمی‌شود. چه چیزی هنوز کم است که باعث می‌شود یک سیستم قانونی، نامشروع باشد؟

همیلتون من: «قانونی» و «نامشروع» ممکن است متناقض به نظر برسند، و دقیقاً به همین دلیل است که این تمایز اهمیت دارد. قانونی بودن برای مشروعیت بخشیدن به یک سیستم کافی نیست. یک سیستم می‌تواند تمام الزامات قانونی را برآورده کند اما همچنان این پرسش باقی بماند که آیا قدرتی که اعمال می‌کند موجه، به‌درستی شکل‌گرفته و محدود است یا خیر.

یک شرکت ممکن است بر اساس شرایط قرارداد، به‌صورت قانونی داده‌ها را جمع‌آوری کند، اما تقارن نداشتنِ اطلاعات همچنان پرسش‌هایی را درباره قدرتی که بر کاربران پیدا می‌کند، به وجود می‌آورد. یک هیئت‌مدیره ممکن است در چارچوب اختیارات خود تصمیمی کاملاً قانونی بگیرد، اما اگر افرادِ متأثر از آن تصمیم، هیچ صدایی برای اعتراض نداشته باشند، آن قدرت فاقد مشروعیت است. و یک سیستم الگوریتمی می‌تواند با هر قانون فعلی سازگار باشد و هم‌زمان قدرت خود را بر میلیاردها زندگی بدون هیچ‌گونه نظارت مستقل یا قدرت متقابلی در همان مقیاس اعمال کند. این وضعیت امروز ماست.

قانونمندی می‌پرسد که آیا قدرت از قوانین امروز پیروی می‌کند یا خیر. مشروعیت می‌پرسد که آیا منبع، ساختار و محدودیت‌های آن قدرت موجه است یا خیر. اغلب همین بحث‌هاست که در نهایت به بهبود قوانین منجر می‌شود.

قانون هوش مصنوعی اروپا مهم است. همچنین قوانین جدید کالیفرنیا، کلرادو و کره جنوبی. همه این‌ها در حال آزمایش ترکیبی از الزامات مبتنی بر ریسک، تأیید مستقل، شفافیت و ایمنی هستند و همگی ضروری‌اند. اما قانون‌گذاری، هرچقدر هم که پیچیده باشد، مسئله اساسی چگونگی تقسیم، محدودسازی و قابل‌اعتراض کردن قدرت الگوریتم‌ها را حل نمی‌کند.

فرض کنید یک شرکت هوش مصنوعی تمام قوانین را رعایت کرده است. چه کسی تصمیم گرفته سیستم برای چه چیزی بهینه‌سازی شود؟ چه کسی ارزش‌هایی مانند انصاف، کرامت یا حریم خصوصی را به آستانه‌های فنی ترجمه کرده است؟ چه کسی درباره معماری آموزش و سیگنال‌های پاداش تصمیم گرفته است؟ چه کسی زیرساختی را که این تصمیمات را در مقیاس وسیع اجرا می‌کند در اختیار دارد، و آیا فقط پول باید تعیین کند که چه کسی مالک آن باشد؟ چه کسی تصمیم می‌گیرد که آیا یک پیامد غیرمنتظره، یک مبادله قابل‌قبول است یا یک شکست اساسی؟

اگر پاسخ‌ها همیشه به یک سازمان واحد برگردد، قانون‌گذاری ممکن است نحوه استفاده از قدرت الگوریتمی را محدود کند بدون اینکه تمرکز آن را از بین ببرد. قانون‌گذاری، اجرا و قضاوت همچنان در هم آمیخته‌اند و همان تمرکز قدرتی را به شکل فناوری بازسازی می‌کنند که طراحی قوانین اساسی قرن‌ها تلاش کرده از آن جلوگیری کند. و جایی که قانون ساکت است، پاسخ‌ها معمولاً توسط همان سازمان‌ها نوشته می‌شوند.

این همان تمایزی است که در مقاله اخیر منتشرشده‌ام بین «نظارت» و «تفکیک قوا» قائل شدم. هدف‌گذاری نباید به‌طور خودکار متعلق به کسانی باشد که ماشین را می‌سازند. اختیار استقرار سیستم نباید صرفاً ناشی از مالکیت طراحی آن باشد. قابلیت اعتراض نباید منوط به پذیرش نهایی بودنِ تصمیم الگوریتم باشد. و کنترل زیرساخت پردازشی نباید به‌طور خودکار به معنای اختیار تصمیم‌گیری درباره مقیاس این قدرت باشد.

این چیزی است که من آن را Trias Algorithmica یا «تفکیک قوای الگوریتمی» می‌نامم. این همان حلقه مفقوده است.

مت سیموندز: شما هوش مصنوعی را با داروها و هواپیماها مقایسه می‌کنید که بدون تأیید مستقل پیش از عرضه، نمی‌توانند به دست عموم برسند. پاسخ رایج این است که یک مدل همه‌منظوره را نمی‌توان برای کاربردهایی که هنوز کسی تصور نکرده آزمایش کرد. آیا این پاسخ اشتباه است؟

همیلتون من: بله، به نظر من اشتباه است. این پاسخ از ما می‌خواهد بپذیریم که وقتی نوبت به اقدامات ایمنی می‌رسد، ناگهان ظرفیت تخیل خود را برای پیش‌بینی خطرات و پیشگیری از آن‌ها از دست می‌دهیم.

با این حال، وقتی بحث به رقابت بر سر دستیابی به هوش جامع مصنوعی می‌رسد، این تخیل با تمام قدرت بازمی‌گردد. ما هیچ مشکلی برای تصور سیستم‌های توانمندتر از انسان، تحول بنیادین در کار و جامعه و خطرات بی‌سابقه نداریم و جامعه را آماده پذیرش همه این‌ها به‌عنوان امری عادی می‌کنیم.

البته که یک مدل همه‌منظوره را نمی‌توان برای استفاده‌های غیرقابل‌تصور آزمایش کرد. اما داروها و هواپیماها هم به این دلیل تأیید نمی‌شوند که نهادهای نظارتی تمام شرایط آینده را پیش‌بینی کرده‌اند. آن‌ها مجوز می‌گیرند چون یک مرجع مستقل از سازنده تصمیم می‌گیرد شواهد کافی برای اجازه فعالیت در شرایط مشخص وجود دارد، و این مجوز می‌تواند در صورت بروز شواهد جدید لغو شود.

اشتباه این است که پیش از صدور مجوز مستقل، خواستار قطعیت در پیش‌بینی باشیم. غیرممکن بودن تصور همه‌چیز، نباید بهانه‌ای برای تصور نکردن هیچ‌چیز شود.

ما دیگر از نقطه صفر شروع نمی‌کنیم. موارد مشخصی از آسیب‌ها و الگوهای قابل‌مشاهده وجود دارند که می‌توانیم از آن‌ها درس بگیریم. دقیقاً به این دلیل که نمی‌توانیم همه‌چیز را پیش‌بینی کنیم، نظارت پس از استقرار ضروری است. به همین دلیل است که Trias Algorithmica تأییدیه پیش از عرضه را با پایش سیگنال‌های اجتماعی همراه می‌کند. مجوز به معنای ایمن بودن ابدی یک سیستم نیست. بلکه قضاوتی موقت در شرایط عدم قطعیت است. هنگامی که سیستم وارد جامعه می‌شود، یک قدرت مستقل باید بتواند پیامدهای پیش‌بینی‌نشده را مشاهده کرده و مجوز را بازبینی، محدود، اصلاح، تعلیق یا لغو کند.

در اینجا مقایسه با داروها بسیار مفید است. پایش ایمنی داروها (Pharmacovigilance) به این دلیل وجود دارد که آزمایش‌های بالینی نمی‌توانند تمام عوارض جانبی را پیش از رسیدن دارو به میلیون‌ها بیمار نشان دهند.

بنابراین، استدلال «کاربردهای ناشناخته» در واقع ضرورت نظارت را تقویت می‌کند. اگر پیش‌بینی اثرات دشوار است، اهمیت بیشتری پیدا می‌کند که قدرت واکنش تنها در دست سازمانی نباشد که منافع تجاری‌اش در ادامه فعالیت سیستم است.

عدم قطعیت نباید اختیار کامل را به سازنده بدهد؛ بلکه باید به شرطی‌سازی، نظارت و امکان بازگشت‌پذیری منجر شود.

مت سیموندز: جوامع برای کودکان، افراد آسیب‌پذیر و مجرمان حمایت‌های متفاوتی قائل‌اند؛ اما الگوریتم‌ها با همه یکسان رفتار می‌کنند. از طرفی برای حمایت متفاوت، سیستم باید بداند افراد چه کسانی هستند. این تضاد را چگونه حل می‌کنید؟

همیلتون من: این دقیقاً همان چالش اصلی است. و راه‌حل نمی‌تواند این باشد که برای محافظت از افراد در برابر قدرت الگوریتم‌ها، به سیستم‌ها قدرت بیشتری برای شناسایی و پروفایل‌سازی آن‌ها بدهیم.

اشتباه این بوده که فرض کرده‌ایم یک الگوریتم می‌تواند به‌طور مشروع همان قدرت را بر هرکسی که با آن روبه‌رو می‌شود اعمال کند. جوامع این‌گونه کار نمی‌کنند. مشروعیت قدرت تا حدی به رابطه بین دارنده قدرت و فرد تحت سلطه آن بستگی دارد، چیزی که من آن را مشروعیت رابطه‌ای می‌نامم. سیستم‌های الگوریتمی این تمایزات را از بین می‌برند و توانایی تعامل با یک فرد را معادل اجازه برای اعمال قدرت یکسان بر همه در نظر می‌گیرند.

اصلاح این موضوع به این معنا نیست که هر سیستم هوش مصنوعی باید پروفایل دقیقی از همه کاربران بسازد. حداقل سه راه برای حل این تنش وجود دارد:

اول، حمایت‌ها می‌توانند قبل از اینکه به فرد متصل شوند، به بستر (Context) متصل شوند. اگر یک سیستم هوش مصنوعی در یک مدرسه ابتدایی مستقر می‌شود، نیازی نیست که مدل استنتاج کند آیا هر کودک آسیب‌پذیر است یا خیر. محیط مدرسه خود به ما می‌گوید که حفاظت‌های قوی‌تری باید اعمال شود. همین اصل می‌تواند در مراقبت‌های بهداشتی، عدالت کیفری، استخدام، آموزش و خدمات ضروری مالی نیز کارساز باشد. هرچه حساسیت بالاتر و عدم توازن قدرت بیشتر باشد، محافظت‌های پایه برای همه باید قوی‌تر باشد.

دوم، جایی که واقعاً نیاز به تمایز است، سیستم فقط باید بداند که آیا فرد مشمول حمایت هست یا نه، بدون اینکه هویت او را بداند. اثبات یک ویژگی بسیار متفاوت از افشای هویت است. یک سرویس ممکن است نیاز داشته باشد بداند کاربر زیر سن قانونی است، بدون اینکه نام، آدرس، تاریخ تولد یا سابقه وب‌گردی او را بداند. وقتی در شک هستیم، پیش‌فرض باید در جهت محدود کردن قدرت الگوریتم‌ها کار کند، نه در جهت تضعیف حریم خصوصی فرد.

سوم، و مهم‌ترین نکته، این است که خود الگوریتم نباید تصمیم بگیرد چه کسی سزاوار چه حمایت‌هایی است. در غیر این صورت ما دقیقاً همان تمرکز قدرتی را بازسازی می‌کنیم که در تلاش برای از بین بردنش هستیم. تصور کنید شرکتی از روی دایره واژگان، الگوهای وب‌گردی، لحن احساسی یا خریدهای فرد استنتاج می‌کند که او یک کودک، فردی مضطرب، در تنگنای مالی یا یک مجرم احتمالی است، و سپس همان شرکت تصمیم می‌گیرد که بر اساس این برچسب‌ها چه اقدامی انجام شود.

دسته‌بندی‌هایی که اهمیت دارند، شواهدی که می‌توانند آن‌ها را اثبات کنند و حمایت‌هایی که به دنبال آن‌ها می‌آیند باید خارج از فرایند بهینه‌سازی تعیین شوند. مدیریت داده‌ها باید تصمیم بگیرد که چه اطلاعاتی می‌تواند استفاده شود، نه اینکه توسعه‌دهندگان هرچه را طبقه‌بندی را آسان‌تر می‌کند جمع‌آوری کنند. قانون‌گذار مشروع باید تعیین کند که جامعه چه تمایزاتی را به رسمیت می‌شناسد؛ یک الگوریتم خوشه‌بندی نباید مجاز به اختراع دسته‌های جدیدی از «افراد آسیب‌پذیر» باشد. این‌گونه است که حفاظتِ متمایز می‌تواند همسو با حفظ حریم خصوصی وجود داشته باشد.

مت سیموندز: در بیشتر شرکت‌ها، همان تیمی که مدل را تعریف می‌کند، آن را عرضه کرده و به کار خود نمره می‌دهد. تفکیک این عملکردها در نمودار سازمانی واقعی چگونه است؟

همیلتون من: در بسیاری از شرکت‌ها، زنجیره توسعه هوش مصنوعی عمودی است. هیئت‌مدیره استراتژی را تعیین می‌کند و زیر نظر آن، اختیار از مدیرعامل به سمت رهبران محصول یا هوش مصنوعی جریان می‌یابد. همان زنجیره، هر سه نوع قدرت را اعمال می‌کند. هم قانون‌گذار است، هم مجری و هم قاضی. سازمانی که قوانین خود را می‌نویسد، اجرا می‌کند و خود را قضاوت می‌کند، تمایل دارد همین تمرکز قدرت را در سیستم‌هایی که می‌سازد نیز تعبیه کند.

تفکیک این قوا می‌تواند به این شکل باشد:

هیئت‌مدیره همچنان اهداف استراتژیک را تعیین می‌کند. یک نهاد هدف‌گذاریِ مستقل از مدیریت اجرایی، این اهداف را به مرزها و مبادلات قابل‌قبولی ترجمه می‌کند که مهندسان باید در چارچوب آن‌ها کار کنند. به این ترتیب، هدف‌گذاری از ساخت ماشین جدا می‌شود.

در کنار مدیریت اجرایی (نه زیر نظر آن)، سه نهاد دیگر با مأموریت‌ها و خطوط گزارش‌دهی مستقل وجود خواهند داشت:

یک «نهاد تأیید استقرار» که تصمیم می‌گیرد آیا سیستم می‌تواند در مقیاس مشخصی عرضه شود یا خیر. این نهاد می‌تواند عرضه را بدون دخالت تیم محصول متوقف، به تأخیر انداخته یا مشروط کند.

یک «نهاد پایش سیگنال‌های اجتماعی» که استانداردهای ارزیابی خود را تنظیم می‌کند و عملکرد سیستم را پس از عرضه در زمینه آسیب‌ها، حقوق افراد و رفتارهای غیرمنتظره بررسی می‌کند.

و در نهایت، یک «نهاد مستقل رسیدگی به شکایات» که به اعتراضات کاربران و طرف‌های آسیب‌دیده رسیدگی می‌کند و قدرت لغو تصمیمات الگوریتم را دارد، به‌جای اینکه شکایت را به همان تیمی ارجاع دهد که سیستمش آن تصمیم را گرفته است.

مت سیموندز: آیا چنین تفکیکی واقعاً می‌تواند در داخل یک شرکت واحد کارساز باشد؟

همیلتون من: نه کاملاً، و مفهوم Trias Algorithmica فرض نمی‌کند که همه این قدرت‌های متقابل باید در داخل شرکت باقی بمانند. برای سیستم‌های بسیار تأثیرگذار، تفکیک داخلی به‌تنهایی از نظر ساختاری ناکافی است. شما می‌توانید یک بخش «ایمنی هوش مصنوعی» مستقل ایجاد کنید، اما اگر بودجه آن توسط مدیرعاملی کنترل شود که ممکن است محصولش متوقف شود، اگر رئیس آن بتواند پس از یک تصمیم ناخوشایند اخراج شود، یا اگر تیم مهندسی تصمیم بگیرد که چه چیزی را می‌تواند بازرسی کند، این تفکیک فقط روی فایل‌های ارائه‌ وجود دارد نه در واقعیت.

یک معماری بالغ به سه لایه نیاز دارد: استقلال واقعی درون شرکت (خطوط گزارش‌دهی مجزا، بودجه‌های محافظت‌شده، دسترسی مستقیم به هیئت‌مدیره)، تأییدیه خارجی برای استقرار سیستم‌های حساس (به‌جای خودتأییدی شرکتی)، و در نهایت نهادهای متقابل کاملاً خارج از شرکت مانند قانون‌گذاران، دادگاه‌ها و حسابرسان مستقل که می‌توانند مدارک را دریافت کرده و پیامدهای عملی ایجاد کنند.

یک کمیته اخلاقی که فقط می‌تواند یادداشت بنویسد، یک قدرت متقابل نیست. یک تیم ایمنی که می‌تواند شکایت کند اما نمی‌تواند استقرار را به تأخیر بیندازد، یک قدرت متقابل نیست. یک هیئت تجدیدنظر که مدیریت می‌تواند تصمیماتش را نادیده بگیرد، یک قدرت متقابل نیست.

بنابراین وقتی به هر شرکتی که هوش مصنوعی می‌سازد یا مستقر می‌کند نگاه می‌کنید، فقط یک پرسش ساده وجود دارد: چه کسی می‌تواند چه کسی را متوقف کند؟

هرچه قدرت الگوریتمیِ اعمال‌شده بیشتر باشد، تفکیک قوا و نهادهای قدرتِ متقابل باید قوی‌تر باشند. این‌گونه است که سازمان‌ها می‌توانند سیستم‌های الگوریتمیِ سازگار با بافت اجتماعی ما بسازند.