درس‌های جالب رد هت از ورود هوش مصنوعی به مستندسازی فنی؛ چرا مدل‌های زبانی نویسندگان خوبی نیستند؟

دفتر بزرگ شرکت رد هت در شهر برنو جمهوری چک، در سال‌های اخیر با دانشگاه معتبر ماساریک همکاری کرده است تا نسل آینده نویسندگان فنی (Technical Writers) را آموزش دهد؛ با این حال، همان‌طور که در دنیای تدریس معمول است، معلمان نیز در این مسیر درس‌های ارزشمندی می‌آموزند.

در جریان اجلاس متن‌باز (Open Source Summit) در پراگ، یکی از اعضای ارشد تیم مستندسازی رد هت ارائه‌ای با عنوان نمودارها و اژدهایان: آموزش نگارش فنی به دانشجویان به روش متن‌باز برگزار کرد. رد هت دفتر گسترده‌ای در برنو، دومین شهر بزرگ جمهوری چک و محل استقرار دانشگاه ماساریک، دارد. این شرکت در طول چهار سال گذشته با دانشکده انفورماتیک این دانشگاه برای ارائه یک واحد درسی در حوزه نگارش فنی همکاری داشته است. ییری هرمان در این رویداد، تجربیات مربیان این دوره و درس‌هایی را که از تعامل با دانشجویان آموخته بودند، به اشتراک گذاشت.

این دوره در دانشکده انفورماتیک با کد PV177 Technical Writing ارائه می‌شود و شرکت رد هت نیز صفحه‌ای اختصاصی برای معرفی برخی از منابع و مباحث این دوره ایجاد کرده است.

هرمان در این باره اشاره کرد که رد هت از مدت‌ها قبل به دنبال پرورش استعدادها در زمینه مستندسازی فنی در برنو بوده است، اما آغاز رسمی دوره به‌دلیل همه‌گیری سال ۲۰۲۰ با تاخیر مواجه شد. تمرکز ویژه این شرکت بر بخشی از نگارش فنی قرار دارد که هرمان آن را «بخش دشوار و چالش‌برانگیز مستندسازی، یعنی تعامل واقعی با انسان‌های دیگر» توصیف می‌کند.

از جمله جالب‌ترین بخش‌های ارائه هرمان که در صفحه‌های ۷ و ۹ اسلایدهای این سخنرانی نیز بازتاب یافته، بررسی راهکارهایی است که در عمل شکست خوردند. با اینکه دوره برای دانشجویانی با پیش‌زمینه فنی طراحی شده بود، تعریف تکالیف کلاسی با ابزارهای مبتنی بر خط فرمان (Shell) با شکست روبه‌رو شد؛ زیرا برخی دانشجویان تاکنون با خط فرمان کار نکرده بودند، برخی با لپ‌تاپ‌های امانی فاقد دسترسی مدیر (Admin) در کلاس حاضر می‌شدند و گروهی نیز به‌جای رایانه تنها گوشی هوشمند به‌همراه داشتند.

برخی از چالش‌های دیگر قابل پیش‌بینی‌تر بودند؛ برای نمونه، ارزیابی تکالیف توسط خود دانشجویان (مشابه فرآیند داوری و بازبینی که نویسندگان فنی در پروژه‌های واقعی انجام می‌دهند) بازدهی مناسبی نداشت که بخشی از آن به ضرب‌الاجل‌های فشرده بازمی‌گشت. در نهایت، راه‌حل این بود که به دانشجویان آموزش داده شود چگونه کارهای یکدیگر را «بدون ایجاد دلخوری و تنش» نقد کنند. علاوه بر این، تعامل با مدرسان راه دور و جلسات آنلاین نیز به‌ویژه زمانی که چند استاد مختلف در هر جلسه تغییر می‌کردند، چندان کارآمد واقع نشد؛ نکته‌ای که می‌تواند برای برگزارکنندگان دوره‌های آنلاین تأمل‌برانگیز باشد.

چالش استفاده از مدل‌های زبانی

بزرگ‌ترین چالش دوره‌ای که نخستین بار در سال ۲۰۲۳ برگزار شد، بدون تردید ورود مدل‌های بزرگ زبانی (LLM) بود. در ابتدا به دانشجویان گفته شده بود که حق استفاده از این ابزارها را ندارند، اما طبق انتظار، آن‌ها مخفیانه از هوش مصنوعی استفاده کردند. هرمان گزارش می‌دهد که تشویق کارهای باکیفیتی که با کمک هوش مصنوعی تهیه شده بودند، فقط به تقلب بیشتر دامن می‌زد؛ از سوی دیگر، توبیخ دانشجویان نیز انگیزه آن‌ها را از بین می‌برد و مجدداً به تقلب منجر می‌شد. در نتیجه، تیم آموزشی تغییر رویکرد داد و تصمیم گرفت به‌جای ممنوعیت، نحوه صحیح به‌کارگیری این مدل‌ها را به دانشجویان بیاموزد.

با این حال، برخی تکنیک‌ها نتایج بسیار موفقی به‌همراه داشت؛ از جمله امتیازدهی پویا همراه با جوایز غافلگیرکننده و ارائه بازخوردها در قالب میم‌های اینترنتی. پروژه پایانی نیز در قالب یک بازی نقش‌آفرینی به سبک «سیاه‌چال‌ها و اژدهایان» (Dungeons & Dragons) طراحی شد. مأموریت اصلی، «مسیر تبدیل شدن به یک نویسنده فنی» بود که مراحلی مانند هماهنگی با تیم‌های میان‌رشته‌ای، تدوین گزارش تغییرات نسخه (Release Notes)، یادداشت‌های فنی و تولید مستندات واقعی را در بر می‌گرفت. با توجه به متن‌باز بودن محتوای دوره، فارغ‌التحصیلان اکنون سابقه‌ای دائمی در جامعه نرم‌افزارهای آزاد دارند که می‌توانند آن را به کارفرمایان آینده ارائه دهند. جزئیات این دوره در گیت‌هاب پروژه و آرشیو تکالیف دانشجویان برای سال‌های ۲۰۲۵ و ۲۰۲۶ در دسترس است.

چالش‌های پیرامون استفاده از مدل‌های زبانی، محور اصلی یک نشست هم‌اندیشی با عنوان نگارش فنی در عصر هوش مصنوعی بود که پیش‌تر با مدیریت هرمان برگزار شد. او جلسه را با این پرسش آغاز کرد که چه تعداد از حاضران در مستندسازی فنی از هوش مصنوعی استفاده می‌کنند و با پاسخی روبه‌رو شد که نشان می‌داد «اکثریت قاطع» متخصصان از این ابزارها در کار روزمره بهره می‌برند.

اما نکته جالب‌تر، مواردی بود که کارشناسان اعلام کردند تمایلی به استفاده از هوش مصنوعی برای آن‌ها ندارند. از نگاه آنان، حتی برترین مدل‌ها نیز در نوشتن مستقیم مستندات عملکرد ضعیفی دارند. هوش مصنوعی در ترسیم دیاگرام‌ها و درک آن‌ها برای بازبینی ناتوان است و در ارزیابی مستندات نیز ضعف جدی دارد؛ چراکه به گفته نویسندگان، «هوش مصنوعی بیش از حد چاپلوس است و بازخوردهایش به‌طرز غیرواقعی مثبت هستند» و علاوه بر آن، «نمی‌تواند دیدگاه کاربران یا ساختار کلان متن را به‌خوبی تحلیل کند».

با این وجود، اغلب شرکت‌کنندگان کاربردهای جانبی مفیدی برای این فناوری یافته بودند؛ مواردی مانند «مدیریت تغییرات» و «همگام‌سازی با کدهای جدید»؛ به این معنا که هوش مصنوعی مشخص می‌کرد چه بخش‌هایی از یک محصول نرم‌افزاری بزرگ دستخوش تغییر شده و نیازمند نگارش مستندات جدید است. سایر کاربردها شامل «ثبت تصمیمات حاصل از صورت‌جلسات»، «گردآوری منابع اولیه برای نگارش»، «مهندسی معکوس کدها جهت درک هدف برنامه» و «یافتن مستندات موجود برای جلوگیری از دوباره‌کاری» بود. یکی از موارد نگران‌کننده نیز استفاده از آن برای «خلاصه‌سازی یادداشت‌های جلسات و دسته‌بندی موضوعی آن‌ها» عنوان شد.

مستندسازی فنی حرفه‌ای دشوار است که همواره با کمبود نیروی انسانی و منابع دست‌وپنجه نرم می‌کند؛ بنابراین نمی‌توان متخصصان را به‌دلیل استفاده از هر ابزار کمکی ملامت کرد. با این حال، نتیجه بارز این گردهمایی، اجماع نظر نویسندگان فنی درباره ضعف بنیادین مدل‌های زبانی در انجام وظایف اصیل این حوزه بود. بازبینی متقابل اسناد، هسته اصلی کار یک مستندساز است؛ اما هنگامی که متخصصان متن‌های تولیدشده توسط بات‌ها را بررسی می‌کنند، متوجه نقص‌ها و کمبودهای عمیق در زبان ماشینی آن‌ها می‌شوند.

آنچه بیش از همه نگران‌کننده به نظر می‌رسد این است که با وجود آگاهی نویسندگان از ضعف بات‌ها در تخصص اصلی‌شان، همچنان به توانمندی آن‌ها در سایر کارها اعتماد می‌کنند؛ اموری که نویسندگان شاید با دقت کمتری آن‌ها را زیر نظر می‌گیرند، مانند شناسایی بخش‌هایی از کد که نیازمند به‌روزرسانی مستندات هستند. اعتماد به چت‌بات‌ها برای خلاصه‌سازی یادداشت‌ها هشداری جدی است؛ زیرا پژوهش‌ها نشان داده‌اند که مدل‌های زبانی در خلاصه‌سازی عملکرد بسیار ضعیفی دارند. این مدل‌ها صرفاً متن را کوتاه‌تر می‌کنند و قادر به خلاصه‌سازی مفهومی و دقیق نیستند.

این روند زنگ خطری جدی به شمار می‌آید؛ به‌ویژه در شرایطی که شرکت‌ها مدام کارکنان خود را برای استفاده بیشتر از هوش مصنوعی تحت فشار قرار می‌دهند. واکنش طبیعی بسیاری از نیروها این است: «این ابزار از پس وظایف اصلی من برنمی‌آید، اما اگر مجبور به استفاده هستم، بخش‌هایی را به آن می‌سپارم که خارج از حوزه مستقیم من است تا در صورت بروز خطا، مسئولیت متوجه من نباشد.» با این حال، در زنجیره تولید نرم‌افزار، سرانجام این پرسش بی‌پاسخ می‌ماند که مسئولیت نهایی اشتباهات هوش مصنوعی بر عهده چه کسی خواهد بود.