پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

چگونه مانع هک هوش مصنوعی شویم؟ برخی شرکت‌ها راهکار را هوش مصنوعیِ بیشتر می‌دانند

انتشار:۱ مهر ۱۴۰۵(۵ روز پیش)
۲ دقیقه زمان مطالعه
۰ دیدگاه

شرکت‌هایی مانند Apollo Research و Goodfire در حال توسعه ابزارهایی هستند تا با نظارت دقیق‌تر بر سیستم‌های هوش مصنوعی، از حوادث امنیتی جلوگیری کنند.

چگونه مانع هک هوش مصنوعی شویم؟ برخی شرکت‌ها راهکار را هوش مصنوعیِ بیشتر می‌دانند

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • استارتاپ‌هایی نظیر Apollo Research سیستم‌های نظارتی مبتنی بر هوش مصنوعی توسعه داده‌اند که بر عملکرد ایجنت‌ها برای جلوگیری از اقدامات مخرب نظارت می‌کنند.
  • شرکت Goodfire رویکرد متفاوتی را در پیش گرفته و برای تشخیص فعالیت‌های مشکوک، به‌جای بررسی خروجی، فعال‌سازی‌های داخلی هوش مصنوعی را تحلیل می‌کند.
  • با وجود توسعه این ابزارهای هوشمند، برخی کارشناسان معتقدند استفاده از سیستم‌های امنیتی سنتی و نظارت انسانی همچنان قابل‌اطمینان‌تر از اتکای کامل به اتوماسیون اثبات‌نشده است.

با افزایش نگرانی‌ها درباره هک‌های خودکار هوش مصنوعی و رسیدن دغدغه‌های هم‌سویی (Alignment) به سطحی تازه، تعدادی از شرکت‌ها راهکارهایی را برای حل بزرگ‌ترین مشکلات این فناوری‌های نوظهور ارائه کرده‌اند. بر اساس گزارش TechCrunch، جای تعجب نیست که این راهکار، افزودن هوش مصنوعیِ بیشتر به چرخه نظارت است.

تعدادی از استارتاپ‌ها برای مقابله با ایجنت‌های سرکش، از سیستم‌های دفاعی هوش مصنوعی استفاده می‌کنند. شرکت Apollo Research هوش مصنوعی Watcher خود را معرفی کرده است که بر کار یک ایجنت برنامه‌نویس نظارت می‌کند تا اطمینان حاصل شود که وظایف در حال اجرا مخرب نیستند، داده‌ای نشت نمی‌کند و هیچ اطلاعات مهمی بدون اجازه صریح حذف نمی‌شود.

سیستم Watcher شرکت Apollo لایه‌های مختلفی از ناظران هوش مصنوعی را به کار می‌گیرد. لایه اول بررسی سریعی روی همه‌چیز انجام می‌دهد و در صورت مشاهده هرگونه رفتار نگران‌کننده، آن را نشانه‌گذاری کرده و به یک ناظر توانمندتر ارجاع می‌دهد تا تحلیل دقیق‌تری صورت گیرد. تنها پس از این مرحله است که یک انسان وارد چرخه می‌شود تا اقدامات پیشنهادی را به‌طور رسمی تایید یا رد کند.

در همین حال، شرکت رقیب یعنی Goodfire راهکار دیگری را ارائه می‌دهد که به‌جای بررسی خروجی‌ها، فعال‌سازی‌های داخلی هوش مصنوعی را تحلیل می‌کند تا مشخص شود آیا سیستم درگیر فعالیت‌های مخرب شده است یا خیر.

پس از حمله به پلتفرم Hugging Face، مدیرعامل Goodfire در شبکه اجتماعی ایکس (توییتر سابق) اعلام کرد که این شرکت تمرکز خود را بر تفسیر هوش مصنوعی از طریق خلاصه استدلال‌ها دوچندان کرده است. وی خاطرنشان کرد که آن‌ها به‌طور ویژه بهبود ایمنی هوش مصنوعی در حوزه‌های کلیدی مانند امنیت سایبری و مهندسی زیستی را هدف قرار داده‌اند.

مسیرها و خلاصه‌های استدلالی، تکنیک‌هایی هستند که برخی از توسعه‌دهندگان هوش مصنوعی در حملات تقطیر (Distillation Attacks) از آن‌ها استفاده کرده‌اند؛ فرآیندی که در آن یک سازنده مدل، فناوری خود را با استفاده از خروجی‌های مدلی دیگر آموزش می‌دهد. با این حال، برای مقابله با چنین حملاتی، برخی از توسعه‌دهندگان اکنون خلاصه‌های استدلالی را ناخواناتر می‌کنند تا استخراج معنای واقعی آن‌ها دشوارتر شود.

البته همه معتقد نیستند که هوش مصنوعی تنها راه‌حل این مشکلات است. سیستم‌های جایگزین غیر هوشمند شامل ثبت دقیق‌تر و قوی‌تر لاگ‌های فعالیت ایجنت‌ها هستند که سپس می‌توانند با استفاده از ابزارهای سنتی‌تر تفسیر شوند؛ درست همان کاری که متخصصان امنیت سایبری سال‌هاست انجام می‌دهند. در حالی که نظارت امنیتی با هوش مصنوعی ممکن است آسان‌تر باشد، شاید استفاده ترکیبی از سیستم‌های ایمنی سنتی رویکرد هوشمندانه‌تری نسبت به اتکای کامل به اتوماسیون اثبات‌نشده باشد.

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

هوش مصنوعی در برزخ سیاست آمریکا: چرا جمهوری‌خواهان گاز می‌دهند و دموکرات‌ها ترمز می‌کشند؟
آخرین اخبار

هوش مصنوعی در برزخ سیاست آمریکا: چرا جمهوری‌خواهان گاز می‌دهند و دموکرات‌ها ترمز می‌کشند؟

دنیای هوش مصنوعی این روزها وارد یک بازی سیاسی خطرناک شده؛ جایی که مرزبندی‌های حزبی در واشنگتن، آینده این فناوری را به یک میدان نبرد تبدیل کرده است. در حالی که جمهوری‌خواهان چراغ سبز پیشروی بی‌وقفه را نشان می‌دهند، دموکرات‌ها قصد دارند با وضع قوانین سفت‌وسخت ترمز این صنعت را بکشند؛ تنشی که می‌تواند به ضرر کل اکوسیستم هوش مصنوعی تمام شود.

۲ دقیقه مطالعه
۰
۶ مهر
رکورد ۸۳۳ هزار دانلود ماهانه برای LEGAL-BERT؛ وقتی توسعه‌دهنده‌ها قید مدل‌های گران‌قیمت را می‌زنند!
آخرین اخبار

رکورد ۸۳۳ هزار دانلود ماهانه برای LEGAL-BERT؛ وقتی توسعه‌دهنده‌ها قید مدل‌های گران‌قیمت را می‌زنند!

مدل زبانی تخصصی LEGAL-BERT با ثبت بیش از ۸۳۳ هزار دانلود در ماه روی پلتفرم هاگینگ فیس حسابی خبرساز شده است. این ابزار جمع‌وجور و تخصصی نشان می‌دهد که برای پردازش و تحلیل متون حقوقی، حتماً نیازی به مدل‌های غول‌پیکر و پرهزینه ندارید و گزینه‌های بهینه همچنان در اوج هستند.

۲ دقیقه مطالعه
۰
۶ مهر
جاسوسی هوش مصنوعی در محل کار؛ کارمندان می‌گویند کارفرماها باید قانوناً مچ‌گیری‌هایشان را لو بدهند!
آخرین اخبار

جاسوسی هوش مصنوعی در محل کار؛ کارمندان می‌گویند کارفرماها باید قانوناً مچ‌گیری‌هایشان را لو بدهند!

نظرسنجی‌های تازه نشان می‌دهد که بیشتر کارمندان حس می‌کنند مدیرانشان با ابزارهای هوش مصنوعی تمام حرکات آن‌ها را زیر نظر گرفته‌اند. حالا بیش از ۸۰ درصد شاغلان خواستار تصویب قانونی شده‌اند که شرکت‌ها را مجبور کند هرگونه مچ‌گیری و نظارت هوش مصنوعی در محیط کار را رسماً اعلام کنند.

۳ دقیقه مطالعه
۰
۶ مهر