انویدیا به‌دنبال فروش کارخانه‌های هوش مصنوعی؛ بیش از ۸۰ درصد پردازنده‌ها بیکار مانده‌اند!

بر اساس یک بررسی آماری جدید در حوزه فناوری، بیشتر شرکت‌هایی که هوش مصنوعی را در محیط عملیاتی (پروداکشن) به کار گرفته‌اند، تنها از نیمی از ظرفیت پردازنده‌های گرافیکی (GPU) خود استفاده می‌کنند؛ با این حال، اکثر همین مجموعه‌ها همچنان برای پیاده‌سازی زیرساخت‌های جدید هوش مصنوعی برنامه‌ریزی کرده‌اند.

از میان ۱۰۲ سازمان واجد شرایط شرکت‌کننده در این نظرسنجی، ۶۸ مجموعه در حال اجرای مدل‌های هوش مصنوعی در محیط عملیاتی هستند و آمار دقیق بهره‌وری پردازنده‌های گرافیکی خود را گزارش داده‌اند. ۵۵ مورد از این شرکت‌ها (۸۱ درصد) اعلام کرده‌اند که میانگین بهره‌وری پردازنده‌های گرافیکی آن‌ها ۵۰ درصد یا حتی کمتر است؛ با این حال، ۷۱ درصد از همین گروه قصد دارند ظرف ۱۲ ماه آینده یک پلتفرم زیرساختی جدید، مکمل یا جایگزین را به خدمت بگیرند.

این یافته‌ها پرسش مهمی را پیش می‌کشد: خریداران انتظار دارند پلتفرم جدید چه مشکلی را برایشان حل کند؟ یک زیرساخت جایگزین می‌تواند زمان‌بندی، یکپارچه‌سازی یا توجیه اقتصادی بار پردازشی فعلی را ارتقا دهد؛ در حالی که یک پلتفرم تازه می‌تواند از وظایفی پشتیبانی کند که بستر فعلی به‌شکل مطلوبی از پس مدیریت آن‌ها برنمی‌آید.

این ابهام درست در شرایطی مطرح می‌شود که جنسن هوانگ، مدیرعامل انویدیا، سازمان‌ها را به ساخت "کارخانه‌های هوش مصنوعی" اختصاصی ترغیب می‌کند. هوانگ در سخنرانی اصلی در کنفرانس GTC برلین تأکید کرد: «برای حضور موثر در اقتصاد هوش مصنوعی، نباید صرفاً مصرف‌کننده باشید؛ بلکه باید خودتان هوش مصنوعی را تولید کنید.»

ایده کارخانه‌های هوش مصنوعی اکنون فراتر از صرف قدرت محاسباتی گسترش یافته است. شرکت HPE بر مدیریت APIها و یکپارچه‌سازی با پروتکل کانتکست مدل (MCP) تأکید دارد، در حالی که شرکت VAST با همکاری انویدیا پشته نرم‌افزاری Agent Sandbox Foundation Stack را با هدف حفظ وضعیت ایجنت، مدیریت دسترسی به داده‌ها و ردگیری دقیق اقدامات هم‌گام با افزایش و کاهش منابع محاسباتی معرفی کرده است. همچنین تیم امنیتی شرکت نبیوس (Nebius) رایانش محرمانه در پردازنده‌های گرافیکی (GPU Confidential Computing) را راهکاری برای حفاظت از داده‌ها و وزن‌های مدل حین پردازش می‌داند که به سازمان‌ها امکان می‌دهد پیش از تحویل کلیدهای رمزنگاری، سلامت و امنیت محیط پردازش را راستی‌آزمایی کنند.

به باور تحلیلگران، یکپارچه‌سازی و امنیت روزبه‌روز نقش پررنگ‌تری در تصمیم‌گیری‌های زیرساختی ایفا می‌کنند. تأمین قدرت پردازشی تنها گام نخست است؛ اما پیاده‌سازی معماری کارآمدی که بتواند پتانسیل مدل را به ارزش عملیاتی تبدیل کند، به تصمیم‌های بنیادین متعددی نیاز دارد.

با محول شدن وظایف طولانی‌تر و پیچیده‌تر به ایجنت‌ها، این تصمیمات مواردی مانند نحوه دسترسی به دانش سازمانی، ذخیره پیشرفت کارها، بهره‌گیری از مدل‌های مختلف و بازیابی سیستم پس از بروز خطا را شامل می‌شود. سیستم حافظه بخش مهمی از این معماری به شمار می‌رود و شاخص "هزینه به‌ازای هر کار با موفقیت تکمیل‌شده"، معیاری کلیدی برای سنجش هماهنگی این اجزا در کنار یکدیگر است.

شکاف شواهد و ارزیابی اقتصادی در خرید زیرساخت‌های جدید

در میان کل ۱۰۲ سازمان شرکت‌کننده در این نظرسنجی، ۶۳ درصد قصد دارند ظرف یک سال آینده پلتفرمی جدید، مکمل یا جایگزین را به خدمت بگیرند. با این وجود، تنها ۱۰ درصد از سازمان‌ها شاخص بازگشت سرمایه (ROI) تاییدشده از سوی دپارتمان مالی را در اختیار دارند. در بین شرکت‌هایی که برای تغییر پلتفرم برنامه‌ریزی کرده‌اند، ۹۱ درصد هیچ ارزیابی مالی رسمی از بازگشت سرمایه ندارند. این رقم در سازمان‌هایی که برنامه‌ای برای تغییر پلتفرم ندارند نیز ۸۹ درصد است؛ اختلافی که از نظر آماری چندان معنادار نیست.

این ارقام نشان می‌دهند که شرکت‌ها حتی پیش از آنکه بخش مالی بازدهی اقتصادی زیرساخت‌های فعلی هوش مصنوعی را تأیید کند، در حال تصمیم‌گیری برای خرید پلتفرم‌های بعدی هستند.

در میان پاسخ‌دهندگانی که پلتفرم اصلی آن‌ها در فاز عملیاتی فعال است، میانگین رضایت کلی ۴٫۰ از ۵٫۰، سهولت پیاده‌سازی ۳٫۹ و ارزش در برابر هزینه پرداختی ۳٫۶ ثبت شده است.

یک پلتفرم ممکن است از نظر فنی عملکرد مناسبی داشته باشد و نمره عملیاتی مطلوبی بگیرد، اما یک پرسش بنیادین را بی‌پاسخ بگذارد: آیا خروجی و دستاوردی که فراهم می‌کند، ارزش هزینه‌های سنگین پرداختی را دارد؟

برای کاربردهای مبتنی بر ایجنت، شاخص "هزینه به‌ازای هر کار با موفقیت انجام‌شده" باید به معیار اصلی عملیاتی تبدیل شود. این محاسبه باید هزینه‌های لحظه پاسخگویی (استنتاج)، بازیابی اطلاعات (Retrieval)، ذخیره‌سازی، تلاش‌های مجدد و بازبینی نیروی انسانی را شامل شود. سپس دپارتمان مالی باید این هزینه‌ها را با ارزش واقعی خلق‌شده در مقایسه با یک خط مبنای توافق‌شده بسنجد.

هر کار تکمیل‌شده به استاندارد کیفی شفاف نیاز دارد. برای نمونه، بستن اشتباه یک تیکت پشتیبانی نباید موفقیت تلقی شود، و هزینه اصلاح یک تغییر کد نادرست باید به‌عنوان بخشی از هزینه تکمیل آن وظیفه محاسبه گردد.

معماری سیستم؛ تعیین‌کننده میزان مصرف منابع در هر وظیفه

پاسخ‌دهندگان به این نظرسنجی اولویت‌های مختلفی را برای خرید زیرساخت مطرح کرده‌اند. یکپارچه‌سازی با سرویس‌های ابری و بستر داده‌های موجود با ۴۸ درصد آرا در صدر قرار گرفت، در حالی که عملکرد فنی با ۴۲ درصد و دسترسی‌پذیری پردازنده‌های گرافیکی با ۳۵ درصد در رتبه‌های بعدی قرار گرفتند؛ تفاوتی که میان یکپارچه‌سازی و عملکرد از نظر آماری چندان معنادار نیست.

پرسش کلیدی معماری این است: یک گردش کار مشخص، دقیقاً در کدام مرحله زمان را هدر می‌دهد، وظایف را تکرار می‌کند یا بدون بهبود نتیجه نهایی، منابع بیشتری مصرف می‌کند؟ بهره‌گیری از مدلی توانمندتر شاید راه‌گشا باشد؛ اما ایجاد مسیر دسترسی کارآمدتر به اطلاعات، لایه کانتکست بهینه‌تر، تغییر پیکربندی در میزبانی مدل یا تفکیک روشن‌تر وظایف میان مدل‌ها و ابزارها نیز می‌توانند همین تحول را رقم بزنند.

سیستم حافظه در هوش مصنوعی؛ سه تصمیم طراحی به هم پیوسته

واژه "حافظه" می‌تواند به مفاهیم کاملاً متفاوتی اشاره داشته باشد و نگاه به آن به‌عنوان یک مسئله واحد، تصمیم‌گیری‌های زیرساختی را به مراتب دشوارتر می‌کند.

حافظه سازمانی (Institutional Memory) همان دانش پایدار یک مجموعه است؛ یعنی سیاست‌ها، سوابق، فرآیندهای عملیاتی و تصمیمات گذشته. حافظه وظایف ایجنت (Agent Task Memory) وضعیت لازم برای ادامه انجام یک مأموریت را در بر می‌گیرد: اینکه چه مراحلی سپری شده، چه کارهایی باقی مانده و اقدامات قبلی چه خروجی‌هایی داشته‌اند. در نهایت، حافظه استنتاج (Inference Memory) به منابع محاسباتی و داده‌های کَش‌شده حین پاسخگویی و میزبانی مدل مربوط می‌شود.

دانش سازمانی باید به‌روز، مرتبط و منطبق با سطوح دسترسی هر وظیفه باشد. حافظه وظایف نیز باید پیشرفت‌های ارزشمند را حفظ کند، بدون آنکه اجازه دهد یک نتیجه‌گیری موقت تصادفاً به‌عنوان یک فکت قطعی سازمانی ثبت شود. از سوی دیگر، کارایی روش‌های حافظه استنتاج باید متناسب با همان بار پردازشی هدف مورد ارزیابی قرار گیرد.

راهنمای مهندسی کانتکست آنتروپیک ذخیره یادداشت‌های ساختاریافته خارج از پنجره زمینه (کانتکست) را راهکاری موثر برای حفظ اطلاعات در مأموریت‌های طولانی معرفی می‌کند. از طرفی دیگر، قابلیت Prefix Caching خودکار در فریمورک vLLM لایه دیگری را هدف می‌گیرد: استفاده مجدد از محاسبات کَش‌شده در شرایطی که درخواست‌ها دارای پیشوند پرامپت مشترک هستند. مستندات این ابزار اشاره می‌کند که این ویژگی بار پردازش اولیه پرامپت را کاهش می‌دهد، نه زمان تولید توکن‌های جدید را.

این بررسی لایه حافظه استنتاج را نیز واکاوی کرده است. شرکت‌های انویدیا و دل (Dell) با اختصاص ۴۱ و ۳۹ درصد آرا، پرتکرارترین گزینه‌ها برای استفاده یا ارزیابی بوده‌اند؛ تفاوتی که از نظر آماری معنادار نیست. ابزارهای متن‌باز مدیریت KV-cache و روش‌های ارتقای کارایی در سطح مدل نیز هر کدام توسط ۲۱ درصد از پاسخ‌دهندگان انتخاب شده‌اند. در این میان، ۱۶ درصد از شرکت‌ها هنوز به محدودیت‌های حافظه استنتاج توجهی نداشته یا از وجود آن بی‌اطلاع بوده‌اند.

انتظار می‌رود هماهنگی میان این سه لایه حافظه به یکی از کلیدی‌ترین تصمیمات معماری تبدیل شود. تیم‌های فنی باید مشخص کنند که یک ایجنت چه داده‌هایی را در حافظه نگه دارد، چه مواردی را مجدداً بازیابی کند، چه اطلاعاتی را با دیگران به اشتراک بگذارد و در چه زمانی یک نتیجه به‌عنوان سابقه پایدار سازمان ثبت گردد.

جایگاه مدل‌های کوچک‌تر؛ توجیه اقتصادی در مقیاس سازمانی

کارشناسان مدت‌هاست استدلال می‌کنند که مدل‌های زبانی کوچک (SLM) بخش عمده کاربردهای هوش مصنوعی سازمانی را شکل خواهند داد. ارزش واقعی این مدل‌ها به محل اجرا، نوع وظایف محوله و نحوه تعامل آن‌ها با کانتکست سازمانی، سایر مدل‌ها و انسان‌ها وابسته است.

آزمون واقعی و عملیاتی این است: آیا یک مدل کوچک‌تر، اگر در جای درستی از گردش کار قرار گیرد، می‌تواند کیفیت مورد انتظار را با هزینه کل بسیار پایین‌تر تأمین کند؟

برای یک وظیفه مشخص و محدود، شاید یک مدل کوچک کاملاً کافی باشد؛ در حالی که مرحله‌ای پیچیده‌تر ممکن است نیازمند مدلی قدرتمندتر یا قضاوت مستقیم انسان باشد. سیستم باید معیارهای روشنی برای انتخاب این مسیرها داشته باشد و شواهدی ارائه دهد که نشان دهد پیکربندی انتخابی، کیفیت و هزینه مورد نظر را محقق می‌سازد.

چنین ارزیابی‌هایی باید بخشی پیوسته از چرخه توسعه نرم‌افزار باشند. تیم‌های فنی باید انتخاب مدل، بازیابی اطلاعات، مدیریت وضعیت وظایف و فرآیند ارجاع به انسان را در کنار یکدیگر روی کارهای واقعی محک بزنند و این سنجش را با هر تغییر در سیستم تکرار کنند.

قیمت توکن تنها یک روی سکه است. یافته‌ها نشان می‌دهد ۲۳ درصد از سازمان‌ها "هزینه به‌ازای هر یک میلیون توکن" را به‌عنوان معیاری مهم در تصمیم‌گیری خرید در نظر می‌گیرند؛ رقمی که نسبت به ۱۱ درصد ماه قبل جهشی چشمگیر را نشان می‌دهد و از نظر آماری کاملاً معنادار است.

با این وجود، هزینه نهایی انجام هر وظیفه به عواملی نظیر حجم کل توکن‌های مصرفی، تلاش‌های مجدد، استفاده از ابزارها و میزان مداخله نیروی انسانی بستگی دارد. از این رو، ارزیابی و انتخاب مدل‌ها باید در سطح کل گردش کار و با مبنا قرار دادن نرخ "تکمیل موفقیت‌آمیز وظیفه" انجام شود.

لزوم زبان مشترک میان مدیران و تیم‌های توسعه

بررسی دیدگاه‌های سازمانی در سطوح مختلف نشان می‌دهد که گفت‌وگوها پیرامون زیرساخت از اولویت‌های متفاوتی سرچشمه می‌گیرند.

در میان معاونان و مدیران ارشد، ۵۲ درصد "هزینه کل مالکیت" (TCO) را عاملی تعیین‌کننده در خرید زیرساخت دانسته‌اند، در حالی که این رقم در میان کارشناسان و اعضای فنی تیم تنها ۴ درصد بوده است؛ اختلافی فاحش که از نظر آماری کاملاً معنادار به شمار می‌رود. در نقطه مقابل، ۵۸ درصد از کارشناسان فنی سازگاری و یکپارچه‌سازی سیستم را مهم‌ترین اولویت خود ارزیابی کرده‌اند.

مدیران کسب‌وکار و توسعه‌دهندگان باید پیوند معناداری میان اهداف اقتصادی و تصمیمات فنی هزینه‌ساز برقرار کنند. مدیران باید از پیامدهای مالی تصمیمات مربوط به معماری سیستم آگاه باشند، و توسعه‌دهندگان نیازمند معیارهای هزینه‌ای ملموسی هستند که متناسب با انتخاب‌های فنی آن‌ها طراحی شده باشد تا بتوانند توازن مناسبی میان کارایی و هزینه‌ها ایجاد نمایند.

معیار "هزینه به‌ازای هر کار با موفقیت انجام‌شده" می‌تواند همین حلقه اتصال باشد. این سنجه به تیم‌ها کمک می‌کند ارزیابی کنند که آیا تغییر در سیستم بازیابی، انتخاب مدل، کَشینگ یا مدیریت وضعیت وظایف، خروجی کار را به قدری ارتقا می‌دهد که توجیه‌کننده هزینه‌ها باشد یا خیر.

پیش از خرید پردازنده‌های جدید، گلوگاه‌های واقعی را پیدا کنید

تصمیم‌گیری برای خرید زیرساخت‌های جدید باید با تمرکز بر یک گردش کار مشخص ایجنتی و درک عمیق از عواملی که کارایی آن را محدود کرده‌اند آغاز شود.

رهبران حوزه هوش مصنوعی سازمانی باید سیستم حافظه، یکپارچه‌سازی و سنجش دقیق را به‌عنوان تصمیمات اساسی در طراحی زیرساخت تلقی کنند. نقشه راه اصولی برای آغاز این فرآیند عبارت است از:

• از مالک محصول یا مسئول برنامه بخواهید تعریف دقیق "تکمیل موفقیت‌آمیز کار" و سقف قابل قبول مداخله انسانی را تعیین کند.

• تیم داده را موظف کنید منابع رسمی اطلاعات سازمانی و قواعد دسترسی به آن‌ها را مشخص سازد.

• مشاهده‌پذیری (Observability) سیستم را مانند هر سرویس مهم سازمانی جدی بگیرید و از تیم مهندسی پلتفرم بخواهید نرخ تأخیر، بهره‌وری منابع، رفتار کَشینگ و هزینه نهایی عملیات را به‌دقت اندازه‌گیری کند.

• دپارتمان مالی را وارد فرآیند کنید، روی یک خط مبنای مشخص برای هزینه‌ها توافق نمایید و مزایای حاصل را راستی‌آزمایی کنید.

• سپس در هر مرحله تنها یک جزء از معماری را تغییر دهید و اثر آن را بر هزینه به‌ازای هر کار موفقیت‌آمیز محاسبه کنید.

مدل‌های هوشمندتر افق توانمندی ایجنت‌ها را گسترش می‌دهند؛ اما زیرساخت هوشمندانه‌تر و سنجش هزینه‌ها بر مبنای هر وظیفه است که کارکرد سیستم را قابل اتکا و از نظر اقتصادی توجیه‌پذیر می‌سازد.

یادداشت آماری: داده‌های این ارزیابی از نظرسنجی میان ۱۰۲ سازمان با بیش از ۱۰۰ کارمند (شامل ۶۸ مجموعه‌ای که هوش مصنوعی را در محیط عملیاتی مستقر کرده‌اند) استخراج شده است. از میان این سازمان‌ها، ۵۵ شرکت بهره‌وری پردازنده‌های گرافیکی خود را ۵۰ درصد یا کمتر گزارش داده‌اند. مقایسه دیدگاه‌های سازمانی نیز بر اساس نظرات ۲۳ معاون و مدیر ارشد در برابر ۲۶ کارشناس و توسعه‌دهنده فنی انجام گرفته است.