اتصال پرونده‌های پزشکی به ChatGPT؛ قمار جنجالی اوپنای‌آی هم‌زمان با شکایت از مشاوره‌های مرگبار

اوپنای‌آی با تشویق کاربران به اتصال داده‌های اپلیکیشن اپل هلث (Apple Health) و سوابق پزشکی پشتیبانی‌شده به ChatGPT، در حال گسترش فعالیت‌های خود در حوزه سلامت است؛ آن هم درست یک روز پس از آنکه کاربری با طرح شکایتی قضایی ادعا کرد مشاوره‌های پزشکی این چتبات او را تا آستانه مرگ کشانده است.

این قابلیت تازه که Health in ChatGPT نام دارد، به کاربران واجد شرایط امکان می‌دهد ChatGPT را به اپلیکیشن سلامت اپل در سیستم‌عامل iOS متصل کنند. با این کار، چتبات به اطلاعاتی که کاربر برای اشتراک‌گذاری انتخاب می‌کند، از جمله سوابق پزشکی، وضعیت خواب، فعالیت‌های ورزشی و سایر داده‌های ذخیره‌شده در این اپلیکیشن دسترسی خواهد داشت.

اپلیکیشن Health اپل در واقع داشبوردی جامع برای پایش سلامت است که داده‌های ارسالی از آیفون، اپل واچ و برنامه‌های ورزشی و سلامتی سازگار را جمع‌آوری می‌کند. این اپلیکیشن همچنین به کاربران اجازه می‌دهد اطلاعات شخصی مثل داروهای مصرفی، حساسیت‌ها و شرایط پزشکی خاص خود را ثبت کنند. به گفته اوپنای‌آی، اتصال ChatGPT به این برنامه، زمینه (کانتکست) تکمیلی بیشتری برای گفت‌وگوهای مربوط به سلامت در اختیار مدل می‌گذارد تا بتواند پاسخ‌هایی شخصی‌سازی‌شده‌تر بر اساس مشخصات کاربر ارائه دهد.

اوپنای‌آی در بیانیه رسمی خود اعلام کرد: «با اجازه شما، ChatGPT می‌تواند علاوه بر اهداف و توضیحاتی که مطرح می‌کنید، اطلاعات مرتبطی مانند داروها، نتایج آزمایش‌ها، آخرین ویزیت‌های پزشکی، کیفیت خواب و میزان فعالیت فیزیکی شما را در تحلیل‌های خود لحاظ کند.»

به گفته این شرکت، تصمیم برای ادغام داده‌های سلامت در چت‌های عمومی ChatGPT پس از آن گرفته شد که آزمایش‌های اولیه روی یک بخش اختصاصی سلامت در اوایل سال جاری میلادی نشان داد کاربران معمولاً آن بخش مجزا را نادیده می‌گیرند و بیش از ۷۰ درصد گفت‌وگوهای سلامت‌محور خود را در محیط عمومی چتبات انجام می‌دهند.

آیا کسی به زمان‌بندی عجیب این رونمایی فکر نکرده بود؟

اوپنای‌آی تأکید کرده است که از داده‌های پزشکی متصل‌شده برای آموزش مدل‌های پایه یا نمایش تبلیغات استفاده نخواهد کرد. با این حال، ورای دغدغه‌های مربوط به حریم خصوصی، دلایل نگران‌کننده و جدی‌تری برای تردید درباره انتشار قابلیت Health in ChatGPT وجود دارد.

برای نمونه، روز چهارشنبه مردی از ایالت فلوریدا با ثبت یک شکایت قضایی در دادگاه عالی سان‌فرانسیسکو علیه اوپنای‌آی، مدعی شد که ChatGPT «توصیه‌های پزشکی فوق‌العاده خطرناکی» به او ارائه داده و مانع مراجعه او به پزشک هنگام تشدید عارضه آمبولی ریه شده است. شاکی که در نهایت کارش به بستری شدن در بیمارستان کشید، ادعا می‌کند که این چتبات بارها به او اطمینان داده بود علائمش جدی نیستند و به او توصیه کرده بود در خانه بماند؛ موضوعی که به گفته او، سال‌ها فرآیند توان‌بخشی سنگین جسمی و روانی را به وی تحمیل کرده است.

یکی از سخنگویان اوپنای‌آی در گفت‌وگو با نیویورک تایمز اعلام کرد شرایط استفاده از ChatGPT به وضوح نشان می‌دهد این سرویس برای تشخیص یا درمان پزشکی طراحی نشده است. این سخنگو همچنین افزود که مدل‌های این شرکت از زمان وقوع این حادثه تاکنون پیشرفت کرده‌اند و دقت بالاتری به دست آورده‌اند؛ نکته‌ای که این شرکت در گفتگو با رسانه‌ها نیز بر آن تأکید کرده است.

در متن معرفی قابلیت Health in ChatGPT نیز اشاره شده که این سیستم ممکن است دچار خطا شود و نباید جایگزین متخصصان پزشکی شود؛ هرچند اوپنای‌آی مدعی است برای سنجش کارایی و ایمنی این ویژگی، با صدها پزشک همکاری کرده است.

سخنگوی اوپنای‌آی در این باره اظهار داشت: «ChatGPT پزشک نیست و هرگز نباید به‌عنوان جایگزینی برای مراقبت‌های بالینی، تشخیص یا درمان استفاده شود. نسبت دادن تمام تصمیم‌ها یا پیامدهای سلامت افراد به عملکرد چتبات‌ها، ساده‌انگاری یک چالش بسیار بزرگ‌تر است و مانع از آن می‌شود که مردم به ابزارهای قدرتمندی دسترسی پیدا کنند که می‌توانند در مسیر مراقبت از سلامت به آنها یاری برسانند.»

اضافه شدن سوابق پزشکی به داده‌های زمینه‌ای ChatGPT شاید بتواند از برخی مشاوره‌های اشتباه جلوگیری کند (برای مثال، سوابق شاکی پرونده ممکن بود نشان‌دهنده درمان‌های قبلی و افزایش ریسک آمبولی ریه باشد)، اما این موضوع باز هم مانع از خطاهای محاسباتی و اشتباهات مسلم هوش مصنوعی نخواهد شد.

بررسی‌ها و گزارش‌های متعدد ماه‌های اخیر نشان داده‌اند که دقت ناکافی هوش مصنوعی یکی از موانع اصلی به‌کارگیری آن در علم پزشکی است. پژوهشی در اوایل سال جاری نشان داد چتبات‌های هوش مصنوعی در کمک به تصمیم‌گیری‌های حوزه سلامت عملکردی بهتر از ابزارهای جستجوی سنتی در وب ندارند. مطالعه دیگری نیز فاش کرد که مدل‌های زبانی بزرگ در تشخیص‌های افتراقی اولیه در بیش از ۸۰ درصد موارد شکست می‌خورند. همچنین در کانادا، بازرس کل استان انتاریو دریافت که سیستم‌های یادداشت‌برداری هوش مصنوعی مورد استفاده پزشکان، به‌طور مکرر خطاهای دارویی در پرونده بیماران ثبت کرده، جزئیات حیاتی را از قلم انداخته، اطلاعات نادرست اضافه کرده و مواردی را دچار توهم شده‌اند که نه بیمار و نه پزشک در طول جلسه ویزیت اصلاً به آنها اشاره نکرده بودند.

به بیان دیگر، چه هوش مصنوعی به داده‌های بیمار مجهز باشد و چه نباشد، دخالت دادن آن در توصیه‌ها یا تصمیم‌گیری‌های درمانی همچنان ریسکی جدی و ایده‌ای مخاطره‌آمیز به نظر می‌رسد.

اوپنای‌آی ادعا می‌کند: «ما از آموزش‌های اختصاصی برای بهبود مدل‌های پشتیبان گفت‌وگوهای پزشکی در ChatGPT بهره می‌بریم.» این شرکت مدعی است مدل‌هایش در تشخیص شرایط اورژانسی، درخواست اطلاعات تکمیلی از کاربر، شفاف‌سازی عدم‌قطعیت‌ها و ساده‌سازی اطلاعات پیچیده پزشکی به پیشرفت‌های ملموسی دست یافته‌اند.

بر اساس گزارش‌ها، اوپنای‌آی مدل‌های خود را طوری آموزش داده است که هنگام مواجهه با پرسش‌های ناقص در حوزه سلامت، به‌جای سرهم‌کردن پاسخ‌های ساختگی (توهم)، بر عدم‌قطعیت اطلاعات تأکید کنند.

اینکه آیا چنین تمهیداتی برای ایمن و قابل‌اعتماد ساختن سیستم کافی است یا نه، تصمیمی است که در نهایت کاربران باید بگیرند. برای کاربرانی که همچنان حاضرند سلامت خود را به سیستمی بسپارند که هم‌زمان در دادگاه در حال دفاع از اتهام ارائه توصیه‌های مرگبار پزشکی است، قابلیت Health in ChatGPT هم‌اکنون برای کاربران ۱۸ سال به بالا در آمریکا روی نسخه وب و اپلیکیشن iOS و برای تمام اشتراک‌های Free ،Go ،Plus و Pro در حال انتشار است.