پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

هشدار رسمی اپل درباره رفتارهای خودسرانه و خطرات امنیتی ایجنت‌های هوش مصنوعی

انتشار:۱۳ آبان ۱۴۰۵
۳ دقیقه زمان مطالعه
۰ دیدگاه
اشتراک و پسندیدن

اپل در گزارش مالی سالانه خود هشدار داد که ایجنت‌های هوش مصنوعی ممکن است بدون دریافت مجوز یا برخلاف دستور کاربر دست به اقداماتی غیرقابل بازگشت بزنند. این غول فناوری تأکید کرده که چنین رفتارهایی می‌تواند پیامدهای حقوقی سنگین و خطرات حریم خصوصی به‌همراه داشته باشد.

هشدار رسمی اپل درباره رفتارهای خودسرانه و خطرات امنیتی ایجنت‌های هوش مصنوعی

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • اپل در گزارش سالانه جدید خود اعلام کرد ایجنت‌های هوش مصنوعی می‌توانند با فراتر رفتن از سطح دسترسی مجاز و دور زدن لایه‌های امنیتی، کارهایی مانند حذف داده‌ها یا انجام خرید بدون هماهنگی انجام دهند.
  • ماهیت غیرقطعی فناوری‌های هوش مصنوعی باعث شده است تا پیش‌بینی و حسابرسی دقیق عملکرد ایجنت‌ها در فرایندهای کاری چندمرحله‌ای با چالش جدی روبه‌رو شود.
  • نگرانی از نقض حریم خصوصی و رفتارهای غیرمنتظره این ابزارها سبب شده است اپل رویکرد محتاطانه‌ای در پیش بگیرد و سازوکار دسترسی به حافظه را در سیستم‌عامل مک محدود کند.

شرکت اپل در گزارش سالانه خود هشدار داد که ایجنت‌های هوش مصنوعی، چه توسط خود این شرکت توسعه یابند و چه ساخت شرکت‌های شخص ثالث باشند، ممکن است دست به اقداماتی بزنند که هدایت‌نشده، بدون دستور مشخص یا فاقد مجوز هستند.

در فرم مالی 10-K مربوط به سال مالی منتهی به ۲۶ سپتامبر، قید شده است که این عامل‌ها می‌توانند به شکلی کاملاً مستقل عمل کنند؛ برای نمونه ممکن است به بخش‌هایی از سیستم وارد شوند که اجازه ورود به آن‌ها را ندارند، به اجرای کد یا تغییر آن بپردازند، پیام ارسال کنند و حتی خریدهای اینترنتی را به سرانجام برسانند. اپل خاطرنشان کرد که این ایجنت‌ها ممکن است از سطح مجوزهای تعیین‌شده فراتر بروند، از دستورها سرپیچی کنند، تدابیر امنیتی را دور بزنند یا از طریق ورودی‌های مخرب فریب بخورند.

این شرکت هم‌چنین اعلام کرد که عوامل هوشمند ممکن است اقدامات خود را پنهان کنند، اطلاعات را تغییر دهند یا خروجی‌های گمراه‌کننده تولید کنند. از آنجا که بسیاری از این فناوری‌ها ماهیتی غیرقطعی (Nondeterministic) دارند، پیش‌بینی، کنترل، آزمایش و حسابرسی رفتارهای آن‌ها بسیار دشوار است و خطاهای جزئی می‌تواند در جریان فرایندهای کاری چندمرحله‌ای انباشته و تشدید شود. در این میان، پیامدهایی نظیر پاک شدن اطلاعات مهم یا نهایی شدن تراکنش‌های مالی، ممکن است برگشت‌ناپذیر یا جبران‌ناپذیر باشند.

اپل تأکید کرده است که نظارت و هدایت ایجنت‌های هوش مصنوعی ارائه‌شده از سوی شرکت‌های متفرقه کار آسانی نیست و توانایی نظارتی محدودی در این زمینه دارد. علاوه بر این، سیاست‌ها و ابزارهای کنترلی شرکت ممکن است نتوانند پا‌به‌پای پیشرفت پرشتاب فناوری پیش بروند؛ موضوعی که می‌تواند اپل را در معرض لطمه به اعتبار، کاهش توان رقابتی، پیگردهای قانونی و جریمه‌های نهادهای ناظر قرار دهد.

بر اساس این سند مالی، ایجنت‌هایی که برای انجام وظایف خود نیازمند دسترسی به داده‌های شخصی هستند، نگرانی‌های جدی در زمینه حریم خصوصی و امنیت داده ایجاد می‌کنند که می‌تواند به اعتماد کاربران آسیب بزند. اپل چارچوب‌های قانونی و مقرراتی حوزه هوش مصنوعی را در سراسر دنیا متغیر و در حال تحول توصیف کرده و افزوده است که برای تطبیق خود با قوانین جدید ممکن است ناچار به پرداخت هزینه‌های بسیار سنگینی شود.

اپل تا این لحظه محصول مستقلی مبتنی بر ایجنت‌های خودمختار عرضه نکرده است. در جریان جلسه اخیر گزارش مالی، جان ترنوس، از مدیران ارشد اپل، اعلام کرد ابزارهای مبتنی بر ایجنت‌ها آینده‌ای نویدبخش برای کاربران ترسیم می‌کنند، اما اپل تمایل دارد کاربران کاملاً بدانند چه سطح دسترسی را در اختیار این ابزارها قرار می‌دهند. او تأکید کرد که هدف این شرکت، پیاده‌سازی این فناوری به شیوه‌ای است که بالاترین سطح امنیت و حریم خصوصی را تضمین کند.

اپل ماه گذشته تغییراتی در سازوکار دسترسی کامل به حافظه (Full Disk Access) در رایانه‌های مک اعمال کرد؛ اقدامی که با هدف کاهش خطرات ناشی از سطح دسترسی بالا برای ایجنت‌های هوش مصنوعی انجام شد.

هم‌زمان با گسترش موج ایجنت‌ها میان کاربران عادی، شرکت متا ایجنت Muse را معرفی کرد و OpenAI نیز در رویداد DevDay از ایجنت‌های Dots پرده برداشت. با این حال، شرکت آمازون به‌سرعت فعالیت Muse را در پلتفرم فروشگاهی خود متوقف و اعلام کرد که هیچ مجوزی برای فعالیت این عامل صادر نکرده است.

در رویدادی دیگر، ایجنت Muse که مدیریت آگهی‌های فروش در بخش Marketplace فیس‌بوک را برای مت راب، بررسی‌کننده محصولات فناوری، بر عهده داشت، با جعل هویت او به یک خریدار پاسخ داد، بر سر قیمت توافق کرد و حتی آدرس محل سکونت این کارشناس در تورنتو را برای خریدار فرستاد. راب پیش‌تر روی گزینه «همیشه مجاز باشد» در پنجره مجوزها کلیک کرده بود، هرچند متا پس از این رخداد متعهد شد که متن و سازوکار هشدارهای مربوط به اعطای دسترسی را شفاف‌تر کند.

بازخورد و اشتراک‌گذاری این مطلب

اگر این گزارش برایتان مفید بود، با پسندیدن و اشتراک‌گذاری آن با دیگران، از محتوای تخصصی هوش مصنوعی حمایت کنید.

اشتراک‌گذاری در شبکه‌های اجتماعی:

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

رونمایی استارتاپ Pruna AI از مدل P-H3-Image؛ ابزاری متن‌باز و سریع برای ساخت و ویرایش تصویر
آخرین اخبار

رونمایی استارتاپ Pruna AI از مدل P-H3-Image؛ ابزاری متن‌باز و سریع برای ساخت و ویرایش تصویر

استارتاپ Pruna AI از مدل متن‌باز P-H3-Image رونمایی کرد که بر پایه بازطراحی مدل ویدیویی MiniMax-H3 توسعه یافته است. این مدل با کاهش چشمگیر حجم و افزایش ۵ برابری سرعت، امکان تولید و ویرایش تصاویر باکیفیت تا وضوح ۱۶ مگاپیکسل را با استفاده از چندین تصویر مرجع فراهم می‌کند.

۲ دقیقه مطالعه
۰
۱۳ آبان
معرفی مدل گفتار به متن Soniox STT v6؛ پایان تداخل و اکوی صدا در ایجنت‌های صوتی
آخرین اخبار

معرفی مدل گفتار به متن Soniox STT v6؛ پایان تداخل و اکوی صدا در ایجنت‌های صوتی

شرکت Soniox از مدل گفتار به متن جدید STT v6 رونمایی کرد که به‌طور اختصاصی برای ایجنت‌های صوتی طراحی شده است. این مدل با آگاهی هوشمند از متنی که سیستم بیان می‌کند، صدای بازپخش‌شده را حذف کرده و مانع قطع ناخواسته مکالمه می‌شود. این سیستم از بیش از ۶۰ زبان در دو حالت زنده و ناهمگام پشتیبانی می‌کند.

۲ دقیقه مطالعه
۰
۱۳ آبان
مدل مرموز Crouton Alpha در OpenRouter؛ ابزار رایگان با بافت ۱ میلیون توکن برای ایجنت‌ها
آخرین اخبار

مدل مرموز Crouton Alpha در OpenRouter؛ ابزار رایگان با بافت ۱ میلیون توکن برای ایجنت‌ها

پلتفرم OpenRouter از مدل استدلال ناشناسی به نام Crouton Alpha با پنجره بافت یک میلیون توکن رونمایی کرد. این مدل چندوجهی در دوره پیش‌نمایش به‌صورت کاملاً رایگان ارائه شده است تا هزینه اجرای وظایف سنگین و فراخوانی ابزارها را در ایجنت‌های هوش مصنوعی به حداقل برساند.

۲ دقیقه مطالعه
۰
۱۳ آبان