هوش مصنوعی Jev واقعاً چقدر براتون سود می‌سازه؟ راز محاسبه سود واقعی در پروژه‌های هوش مصنوعی

همان‌طور که پیش‌تر هم اشاره شد، مدل هوش مصنوعی Jev و رقبایش که نسل جدیدی از «مدل‌های قضاوتی» (Judgement Models) به حساب می‌آیند، این روز‌ها حسابی در دنیای هوش مصنوعی غوغا به پا کرده‌اند. این مدل‌ها به شما امکان می‌دهند از مدل‌های پایه نوین برای پروژه‌های هوش مصنوعی پیش‌بین (Predictive AI) نهایت استفاده را ببرید؛ از جمله پیش‌بینی پیامدها بدون نیاز به داده‌های آموزشی قبلی (Zero-shot Prediction) که یکی از بزرگ‌ترین موانع ورود به دنیای هوش مصنوعی پیش‌بین، یعنی لزوم آموزش یک مدل سفارشی را کاملاً از میان برمی‌دارد.

اما اغلب کاربران Jev مرتکب یک اشتباه مهلک می‌شوند: آن‌ها فقط عملکرد فنی مدل مثل میزان دقت (Accuracy) را ارزیابی می‌کنند، نه بازدهی واقعی تجاری را. در واقع متوجه نمی‌شوند که سیستم مبتنی بر Jev واقعاً چقدر برای کسب‌وکارشان سودآور و مفید است.

واقعیت این است که دقت مدل هوش مصنوعی تقریباً هیچ‌چیزی درباره ارزش تجاری آن به شما نمی‌گوید. فرض کنید می‌خواهید از روی پیام‌های مشتریان پیش‌بینی کنید کدام‌یک قصد لغو اشتراک خود را دارند. فرض کنیم ۲۰ درصد پیام‌ها حاوی سیگنال لغو اشتراک هستند و ۸۰ درصد بقیه مشکلی ندارند. اگر یک سیستم هوش مصنوعی به‌طور پیش‌فرض برای تمام پیام‌ها بگوید «نه، اشتراک لغو نمی‌شود»، روی کاغذ به دقت خارق‌العاده ۸۰ درصدی می‌رسد؛ در حالی که حتی نتوانسته یک مشتری ناراضی و در معرض ریزش را هم شناسایی کند!

بنابراین به جای تمرکز روی این اعداد صوری، باید حساب کنید که با به‌کارگیری واقعی این مدل چقدر سود بالقوه به جیب می‌زنید.

سرمایه‌گذاری هوشمند و پیش‌بینانه روی مشتریان

عملیاتی کردن مدل تنها راهی است که ارزش واقعی آن را آشکار می‌کند؛ حال اسمش را استقرار (Deploy)، راه‌اندازی یا بردن مدل به محیط عملیاتی (Production) بگذارید، همگی به یک معنا هستند. شما باید مشخص کنید که سیستم در برخورد با شکایت یک مشتری دقیقاً چه واکنشی نشان می‌دهد؛ شکایتی مانند این:

«این پیام را برای گزارش یک مشکل اساسی در پرتال مدیریت یکپارچه حساب کاربری ارسال می‌کنم که ظاهراً در حال حاضر از دسترس خارج شده است. این قطعی مانع دسترسی به تنظیمات حساب شده و دردسرهای زیادی برایمان ایجاد کرده است. من بارها با مرورگرها و دستگاه‌های مختلف تلاش کردم وارد شوم، اما مشکل همچنان پابرجاست.»

اگر این موضوع در حوزه B2B و برای مثال یک سرویس نرم‌افزار حقوق و دستمزد باشد، می‌توانید برای حفظ مشتری، یک پیشنهاد ویژه مثل تخفیف ۲۵۰ دلاری روی هزینه اشتراک ارائه دهید. این کار می‌تواند بسیار پرسود باشد و به‌ازای هر مشتری که به‌درستی هدف‌گیری و متقاعد به ماندن شده، به‌طور میانگین ۷۰۰ دلار درآمد خالص آتی برایتان رقم بزند.

البته دلیل اصلی استفاده از هوش مصنوعی این است که تشخیص (پیش‌بینی) قصد لغو اشتراک مشتری از روی چنین متنی، کاری مبهم و نیازمند قضاوت است؛ با یک مسئله احتمالی روبه‌رو هستیم و دقیقاً همین‌جاست که هوش مصنوعی پیش‌بین وارد میدان می‌شود.

بر همین اساس، مدل‌های قضاوتی مثل Jev (و مدل‌های یادگیری ماشین به‌طور کلی) پاسخ خود را در قالب یک «احتمال» عددی ارائه می‌دهند. این خروجی می‌تواند بسیار کارآمد باشد، به شرطی که بدانید بهترین حد آستانه (Threshold) برای این احتمالات چیست. آیا وقتی احتمال لغو اشتراک بالای ۸۰ درصد است باید تخفیف ۲۵۰ دلاری را پیشنهاد دهید؟ یا بالای ۶۰ درصد؟ یا عددی دیگر؟ یادتان باشد هر تخفیفی که به اشتباه به مشتری اهدا شود، ۲۵۰ دلار روی دستتان خرج می‌گذارد؛ چون آن مشتری اصلاً قصد رفتن نداشت و شما بی‌دلیل به او ۲۵۰ دلار تخفیف داده‌اید!

اینکه صرفاً حد آستانه‌ای را انتخاب کنید که «حس خوبی به شما می‌دهد»، یک خطای بسیار فاحش است. اصلاً چرا باید این‌همه کار مبتنی بر داده با هوش مصنوعی انجام دهید تا در نهایت همه‌چیز را با یک «حدس شهودی و دلی» تمام کنید؟ درست است که برخی آستانه‌ها جذاب به نظر می‌رسند (مثلاً ۹۰ درصد اعتمادبه‌نفس بالایی را نشان می‌دهد)، اما واقعیت‌های دنیای کسب‌وکار وابسته به موقعیت هستند و فقط با حساب‌وکتاب ریاضی دقیق می‌توانید تصمیمی کاملاً عینی و منطقی بگیرید. با این حال، حتی راهنماهای تعاملی Jev هم تمام تمرکزتان را روی تعیین آستانه اطمینان می‌گذارند، بدون اینکه ارزش تجاری ناشی از عملیات اجرایی بر پایه آن آستانه را در نظر بگیرند.

تصویرسازی ارزش تجاری هوش مصنوعی پیش‌بین

یک دیدگاه اساسی و در عین حال شفاف وجود دارد که جای خالی‌اش در اغلب پروژه‌های Jev (و در واقع در بیش‌تر پروژه‌های هوش مصنوعی پیش‌بین) به‌شدت حس می‌شود: منحنی سود (Profit Curve).

درآمد بالقوه حاصل از حفظ مشتریان در معرض ریزش، مستقیماً به تعداد افرادی بستگی دارد که رویشان سرمایه‌گذاری می‌کنید؛ متغیری که روی محور افقی X نمایش داده شده است. پرریسک‌ترین مشتریان را در سمت چپ و کم‌ریسک‌ترین‌ها را در سمت راست در نظر بگیرید. اگر مرز را روی ۱۰ درصد تعیین کنید، یعنی طبق احتمالات تخمینی Jev، به ۱۰ درصد از پرریسک‌ترین مشتریان تخفیف حفظ اشتراک پیشنهاد داده‌اید. سود خالص تخمینی در این نقطه حدود ۴.۵ میلیون دلار است. این رقم بر اساس تحلیل ۱۰ هزار پیام از یک بستر آزمایشی عمومی و تعمیم آن به ۵۰۰ هزار پیام فرضی محاسبه شده است؛ با این فرض که هر پیشنهاد درست به‌طور میانگین ۷۰۰ دلار سود می‌آورد و هر پیشنهاد نادرست ۲۵۰ دلار ضرر به بار می‌آورد.

هر که بامش بیش، برفش بیش‌تر! اگر شما و تیم‌تان بخواهید جسورانه‌تر عمل کنید، می‌توانید با گسترش ارائه پیشنهاد تا ۱۷ درصد از مشتریان، درآمد را به اوج برسانید که در این حالت سود تخمینی به حدود ۵.۲ میلیون دلار می‌رسد. هرچه در فهرست پایین‌تر بروید، پیشنهاد را به مشتریان با ریسک کمتری ارائه می‌دهید که این یعنی تعداد هدف‌گیری‌های اشتباه بیش‌تر می‌شود. اما اگر تنها معیار نهایی شما سود خالص است، این معامله کاملاً می‌ارزد. در واقع منحنی سود (یا در بیانی کلی‌تر، منحنی ارزش) در پروژه‌های هوش مصنوعی پیش‌بین معمولاً شکلی شبیه به این دارد. همیشه یک نقطه تعادل طلایی (Goldilocks Zone) وجود دارد: نه بیش از حد خسیس باشید و نه بی‌محابا دست‌ودلبازی به خرج دهید!

در برخی شرایط، شاید حتی بخواهید تهاجمی‌تر هم عمل کنید. مثلاً تصور کنید اولویت کوتاه‌مدت شما رشد تعداد مشتریان باشد؛ نگه‌داشتن مشتریان فعلی اغلب بسیار مقرون‌به‌صرفه‌تر از جذب مشتریان کاملاً جدید است. بنابراین اگر تا مرز ۴۶ درصد پیش بروید، سود تخمینی نزدیک به صفر می‌شود. این شیوه می‌تواند بهترین استراتژی برای حفظ بیش‌ترین تعداد مشتری با هزینه خالص صفر باشد.

محرک اصلی پروژه باید یک معیار تجاری مانند سود مالی باشد، نه صرفاً دقت مدل. پروژه‌های هوش مصنوعی پیش‌بین دهه‌هاست که عملکرد مدل را تقریباً منحصراً با معیارهای فنی مانند Accuracy، Precision، Recall و انبوهی از شاخص‌های دیگر می‌سنجند که برای همه دانشمندان داده آشناست؛ معیارهایی که در بهترین حالت، شاخص‌های بسیار ضعیفی برای نشان دادن ارزش تجاری هستند. اگر ارزش تجاری را نسنجید، پروژه‌تان نمی‌تواند در مسیر خلق ارزش حرکت کند و از آن مهم‌تر، نمی‌توانید این ارزش بالقوه را به ذی‌نفعان کسب‌وکار ثابت کنید؛ همان کسانی که تأییدشان برای استقرار نهایی پروژه ضروری است. دقیقاً به همین علت است که اکثر پروژه‌های هوش مصنوعی پیش‌بین در مرحله پیاده‌سازی و استقرار شکست می‌خورند.

چرا کنار آمدن با عدم‌قطعیت این‌قدر دشوار است؟

چرا شاخص‌های تجاری در پروژه‌های هوش مصنوعی پیش‌بین این‌قدر نایاب هستند؟ در حالی که این شاخص‌ها انگیزه اولیه شروع هر پروژه‌ای محسوب می‌شوند. دلیلش این است که معیاری مثل سود، به عواملی در کسب‌وکار وابسته است که دائماً در معرض تغییر یا عدم‌قطعیت قرار دارند. در مثال ساده‌ای که تا اینجا مرور کردیم، هزینه و فایده هر مورد به‌ترتیب ۲۵۰ و ۷۰۰ دلار تعیین شده بود. اما این اعداد در بهترین حالت فقط تخمین‌های محکمی هستند. یک رویکرد کمی پیچیده‌تر، سود حاصل از حفظ هر مشتری را بر اساس سابقه اختصاصی همان فرد تغییر می‌دهد؛ یعنی ارزش مورد انتظار برای نگه‌داشتن هر مشتری خاص متفاوت است، چون ارزش حفظ برخی مشتریان بسیار بیش‌تر از بقیه است.

عدم‌قطعیت باعث ایجاد بی‌اعتمادی می‌شود. از آنجا که محاسبات سود بر پایه عوامل نامطمئن استوار است، اعتماد به آن‌ها دشوار می‌شود. برخی از همکاران ناگزیر دچار تردید می‌شوند و شاید به نظر برسد که ارزش بالقوه استقرار طرح هوش مصنوعی‌تان در هاله‌ای از ابهام فرو رفته است.

اما نباید اجازه دهیم عدم‌قطعیت این پروژه‌ها را از ریل خارج کند. هوش مصنوعی پیش‌بین اساساً ابزاری برای بهتر بازی کردن با احتمالات است؛ روشی داده‌محور برای بهینه‌سازی تصمیمات خرد سازمانی. اگر از باز کردن جعبه عدم‌قطعیت فرار کنیم، همچنان در دام تصمیم‌گیری‌های غیربهینه و سنتی بر اساس حدس و شهود فردی گرفتار خواهیم ماند.

پادزهر این چالش، بررسی تعاملی اثرات تغییرپذیری و دامنه نوسان فاکتورهای تجاری است. برای نمونه، در تصویر زیر مشاهده می‌کنید که اگر میانگین سود حاصل از ارائه پیشنهاد درست را به جای ۷۰۰ دلار، ۸۰۰ دلار در نظر بگیریم، اوضاع چگونه تغییر می‌کند.

در نقطه‌ای که پیش‌تر بهینه بود (یعنی هدف‌گیری ۱۷ درصد پرریسک‌ترین مشتریان)، سود خالص از ۵.۲ میلیون به ۸ میلیون دلار جهش می‌کند. با این حال، حتی در این نقطه هم مقداری از فرصت‌ها از دست می‌رود؛ چرا که اکنون نقطه اوج سود تخمینی با هدف‌گیری نزدیک به ۳۰ درصد مشتریان، به ۹.۳ میلیون دلار می‌رسد. در این بازه نوسان هنوز عدم‌قطعیت وجود دارد؛ اما تنظیمات را روی هر رقمی که دقیق‌تر می‌دانید بگذارید، باز هم شما را مجاب می‌کند که سیستم را به مرحله عملیاتی برسانید. در این حالت ارزش واقعی و ملموس تجاری را می‌بینیم، نه اینکه فقط به آن امیدوار باشیم یا حدس بزنیم.

کنسول مدیریتی برای پروژه‌های هوش مصنوعی پیش‌بین

منحنی سود (یا به‌طور کلی‌تر «منحنی ارزش»، چون سود مالی همیشه تنها شاخص کلیدی عملکرد نیست) تنها یک بخش از کنسول مدیریتی موردنیاز برای اجرای پروژه‌های هوش مصنوعی پیش‌بین است. اگر کمی عقب‌تر بایستیم و نگاه جامع‌تری بیندازیم، تصویر بزرگ‌تری نمایان می‌شود:

نیازی نیست نگران صدها متغیر مختلف باشید، اما مواردی که باید بررسی شوند به یکی دو مورد هم محدود نمی‌شوند. در اینجا سه مدل مختلف را مقایسه می‌کنیم که همگی حالت‌های متفاوتی از به‌کارگیری Jev هستند:

• مدل Jev معمولی (Normal Jev): کافی است متن پیام مشتری را به مدل بدهید و بپرسید: «آیا این مشتری قصد لغو اشتراک، درخواست استرداد وجه یا قطع سرویس را دارد؟»؛ این همان روشی است که تا اینجای مقاله بررسی کردیم.
• مدل Jev تهاجمی (Aggressive Jev): در این حالت به Jev دستور می‌دهید طوری پیش‌بینی کند که «گویی منفی کاذب (عدم تشخیص مشتری در معرض خطر) ۵ برابر پرهزینه‌تر از مثبت کاذب است». این دستور به مدل انگیزه می‌دهد تا مشتریان در معرض ریزش را با دقت بالاتری شناسایی کند، حتی اگر به قیمت اشتباه گرفتن مشتریان کم‌ریسک تمام شود. به همین دلیل در سمت چپ نمودار این مدل شاهد یک برآمدگی مشخص هستیم.
• مدل Jev حساس (Sensitive Jev): این حالت یک آزمایش ناموفق بود که در آن از Jev خواستیم به نفع دیدگاه مشتری دسته‌بندی کند؛ برای مثال با شناسایی مواردی که مشتریان به دلیل خستگی و فرسودگی از حل مشکل دست کشیده‌اند.

در این داشبورد جامع، گزینه‌ها و مولفه‌های دیگری نیز دیده می‌شوند. فاکتورهای تجاری و دامنه نوسان آن‌ها در پایین‌ترین قسمت قرار دارند و اسلایدرهایی تعبیه شده تا بتوانید آن‌ها را تغییر دهید. دستکاری این اسلایدرها شکل هر سه منحنی سود را تغییر می‌دهد.

در نهایت، در بخش بالایی، مقدار سه شاخص تجاری دیگر علاوه بر سود نمایش داده می‌شود: تعداد مشتریانی که به آن‌ها پیشنهاد تخفیف داده شده، تعداد دفعاتی که پیشنهاد‌ها به‌درستی ارسال شده و تعداد مواردی که به اشتباه هدف‌گیری شده‌اند. مقدار هرکدام از این متغیرها به محل تعیین مرز تصمیم‌گیری (موقعیت افقی روی منحنی سود) بستگی دارد. همان‌طور که می‌بینید، این مرز به‌صورت یک خط عمودی روی منحنی سود مشخص شده است که با حرکت دادن آن به چپ یا راست، مقادیر جدول متناسب با آن تغییر می‌کنند.

می‌توانید همین حالا از اینجا به این کنسول دسترسی داشته باشید و خودتان به‌صورت تعاملی اسلایدرها و مرز تصمیم‌گیری را جابه‌جا کنید. کافی است در آن صفحه مثال «Jev» را پیدا کرده و روی آن کلیک کنید.

جدی گرفتن ارزش تجاری هوش مصنوعی پیش‌بین یعنی این ارزش را کاملاً شفاف و ملموس کنیم و گزینه‌های استقرار و پیامدهای عملیاتی آن را بسنجیم. بیایید با سنجش عینی سود مالی وارد میدان شویم و استفاده از Jev و تمام مدل‌های پیش‌بین را بر اساس ارزش واقعی‌شان هدایت کنیم. تنها با چنین رویکردی است که تحول ساختاریِ ضروری در صنعت هوش مصنوعی پیش‌بین رقم می‌خورد و این فناوری جذاب در نهایت به بلوغ و جایگاه حرفه‌ای که شایسته‌اش است، دست پیدا می‌کند.