چگونه از سقوط هوش مصنوعی مولد در نبرد جلوگیری کنیم

در حوزه نظامی، استفاده از هوش مصنوعی مولد و مدل‌های زبان بزرگ به‌سرعت در حال گسترش است، اما موفقیت این فناوری‌ها در میدان نبرد مستلزم ارزیابی و نظارت مداوم بر خروجی‌های آن‌هاست. عدم انجام این ارزیابی‌ها مانند رانندگی در شب و توفان بدون چراغ است که می‌تواند منجر به خطاهای فاجعه‌آمیز شود. برای مواجهه با این چالش، یک اکوسیستم ارزیابی هوش مصنوعی در دستورکار قرار گرفته که می‌تواند پایه‌ای برای گسترش کاربرد هوش مصنوعی مولد در نیروهای نظامی، از جمله نیروی فضایی، باشد. با این حال، سرعت پیاده‌سازی این اکوسیستم ممکن است به اندازه‌ای نباشد که بتواند بر رقبایی مانند چین پیشی بگیرد که خود در حال توسعه معیارهای ارزیابی خاص خود است.

به منظور حفظ دقت و قابلیت اعتماد در اطلاعات تولید شده توسط هوش مصنوعی مولد، لازم است که نیروهای نظامی هوش مصنوعی را به‌مثابه یک خودرو در نظر بگیرند که علاوه بر تضمین کیفیت ساخت خودرو، نیازمند راننده‌ای ماهر و مجاز برای کنترل آن است. ارائه‌کنندگان مدل‌های زبان بزرگ در حوزه تجاری در حال توسعه سیستم‌های کنترل کیفیت و ایمنی هستند و وزارت دفاع آمریکا نیز با شرکت‌هایی مانند اسکیل ای‌آی همکاری می‌کند تا استانداردهای ارزیابی هوش مصنوعی را برای مصارف نظامی تعریف کند. با این حال، در سطح تاکتیکی، اپراتورها نمی‌توانند منتظر بمانند و باید به‌سرعت از روش‌های موجود برای تضمین کیفیت خروجی‌ها بهره‌مند شوند. در غیر این صورت، هوش مصنوعی در دستان نیروهایی که کنترل کافی بر کیفیت آن ندارند، ممکن است به‌تدریج دچار انحراف و شکست شود.

خروجی‌های نادرست یا نامطمئن هوش مصنوعی مولد در سطوح تاکتیکی می‌تواند منجر به ارزیابی‌های اشتباه اطلاعاتی و در نتیجه اشتباهات راهبردی و تشدید ناخواسته تنش‌ها شود. در محیط‌های جنگی که دقت اطلاعات حیاتی است، این خطر بسیار جدی محسوب می‌شود. استفاده از هوش مصنوعی در نظامی سابقه‌ای طولانی دارد و اکنون فناوری‌های پیشرفته‌تر مانند پردازش زبان طبیعی و هوش مصنوعی مولد، توانمندی‌های جدیدی در تولید محتوا و خلاصه‌سازی اطلاعات فراهم کرده‌اند.

ارزیابی و بنچ مارکینگ مدل‌های هوش مصنوعی برای اطمینان از دقت و ثبات عملکرد آن‌ها حیاتی است. بدون آزمایش‌های مداوم و مقایسه با معیارهای مشخص، خروجی‌های مدل‌ها قابل اعتماد نخواهند بود و این مسئله می‌تواند منجر به کاهش کیفیت و در نهایت تبدیل ابزارهای قدرتمند به تهدیدی برای عملیات شود. در واقع، این نظارت مستمر و سخت‌گیرانه نه‌تنها یک روش خوب، بلکه یک ضرورت برای حفظ برتری راهبردی و جلوگیری از آسیب‌پذیری‌های خطرناک است.

سیستم ارزیابی کلان که در سطح راهبردی توسط دولت تعریف شده است، به منظور بررسی ایمنی و تعصب مدل‌های زبان بزرگ به کار می‌رود، اما این ارزیابی‌ها نمی‌توانند تمام کاربردهای تاکتیکی متنوع و در حال تحول را پوشش دهند. از این رو، تضمین کیفیت باید در فرایندهای عملیاتی و توسط خود اپراتورها انجام شود که بهترین ابزار برای این کار، مهندسی پرسش یا «پرامپت» است. به کمک پرامپت‌سازی دقیق و تخصصی در سطوح کوچک‌تر و توسط کارشناسان موضوع، می‌توان بسیاری از مشکلات مدل‌های زبان بزرگ را کنترل کرد.

یکی از چالش‌های مهم، ارزیابی مداوم عملکرد مدل پس از به‌روزرسانی‌های آن است. اپراتورها باید بتوانند تشخیص دهند که آیا مدل جدید همان دقت و کیفیت مدل قدیمی را حفظ کرده است یا خیر. ایجاد یک اکوسیستم ارزیابی قوی که شامل مجموعه‌ای از تست‌های استاندارد، پیگیری عملکرد مدل و مقایسه نتایج در طول زمان باشد، می‌تواند این مسئله را حل کند. اما در سطح تاکتیکی، استفاده از معیارسنجی رایج هنوز به‌طور گسترده رواج ندارد و بسیاری از نیروهای عملیاتی یا از ضرورت آن آگاه نیستند یا نمی‌دانند چگونه باید این کار را آغاز کنند.

راهکار عملی و کم‌هزینه‌ای برای ارزیابی و حفظ کیفیت مدل‌ها وجود دارد که می‌تواند توسط تیم‌های کوچک نظامی اجرا شود. این کار بهتر است توسط خود کارشناسان در نزدیکی محل عملیات انجام شود، چراکه داده‌های نظامی اغلب تخصصی و متنوع هستند و برون‌سپاری آن‌ها به شرکت‌های خارجی ممکن است به کیفیت پایین‌تر منجر شود. برپایی سیستم‌های کنترل کیفیت و ارزیابی مدل در داخل سازمان و بهره‌گیری از تجربیات و ابزارهای تجاری، رویکردی مؤثر و اقتصادی است.

در صنعت هوش مصنوعی، تیم‌های پردازش زبان طبیعی به‌طور روزانه و هفتگی از معیارهای استانداردی مانند بلو، متئور و روج برای سنجش کیفیت ترجمه‌ها، خلاصه‌سازی‌ها و تحلیل احساسات استفاده می‌کنند. این معیارها اطمینان می‌دهند که خروجی مدل‌ها هم از لحاظ گرامری و هم از لحاظ معنایی با استانداردهای انسانی همخوانی دارد. با ثبت و پیگیری این شاخص‌ها، تیم‌ها می‌توانند روند بهبود یا افت کیفیت را تشخیص دهند و در صورت نیاز اصلاحات لازم را انجام دهند.

نیروهای نظامی نیز می‌توانند با اجرای روشی مشابه اما ساده‌تر و متمرکز بر مهندسی پرامپت و ثبت منظم داده‌ها، بر کیفیت خروجی‌های هوش مصنوعی نظارت کنند. برای مثال، در عملیاتی که نیاز به ترکیب داده‌های باز از منابع مختلف است، ساختن خطوط پرامپت تست‌شده و اجرای مجدد آن‌ها بر داده‌های جدید، امکان ارزیابی مداوم کیفیت را فراهم می‌کند. این فرآیند مانند آزمایش عملکرد یک ماشین حساب در شرایط مختلف است تا اطمینان حاصل شود که همچنان دقیق کار می‌کند.

یک نقش کلیدی در این ساختار، «نگهبان تضمین کیفیت» است که مسئول نظارت کامل بر عملکرد مدل، صحت پرامپت‌ها و دقت خروجی‌ها در سطح تاکتیکی است. این فرد نباید لزوماً دانش تخصصی در حوزه الگوریتم‌ها داشته باشد، بلکه باید کارشناس عمیق حوزه اطلاعاتی که با آن کار می‌کند باشد تا بتواند ناهنجاری‌ها و انحرافات مدل را تشخیص دهد. این نقش، مانند یک راننده مجاز است که مسئول حفظ کنترل و کیفیت رانندگی است.

نگهبان تضمین کیفیت باید یک چارچوب عملیاتی پایه برای کاربردهای مختلف هوش مصنوعی ایجاد کند که شامل تعیین معیارهای موفقیت سخت (مانند صحت اطلاعات و زمان پاسخ) و معیارهای نرم (مانند وضوح و مرتبط‌بودن اطلاعات) باشد. او همچنین باید مستندات کاملی از ورودی‌ها، خروجی‌ها، تغییرات مدل و نمرات ارزیابی داشته باشد که در قالب یک جدول یا پایگاه داده در دسترس تیم قرار گیرد.

برای کنترل انحراف و تغییرات در عملکرد مدل‌ها، نگهبان کیفیت باید مجموعه‌ای از تست‌های ایستا را بسازد و به‌طور منظم یا پس از هر به‌روزرسانی مدل یا پرامپت آن‌ها را اجرا کند. همچنین باید بین نسخه‌های مختلف مدل‌ها مقایسه انجام دهد و گزارش‌های هفتگی وضعیت کیفیت را ارائه دهد تا تیم و مدیران در جریان وضعیت عملیاتی قرار گیرند.

ثبت درس‌آموخته‌ها، نکات موثر و شکست‌های قبلی نیز از دیگر وظایف نگهبان کیفیت است که به حفظ دانش نهادی و تضمین تداوم عملکرد کمک می‌کند. این اطلاعات می‌تواند در سیستم‌های مدیریتی مانند شیرپوینت یا کانفلون ذخیره شود.

نگهبان تضمین کیفیت همچنین باید توانایی آزمایش و بررسی مرزهای مدل‌ها را داشته باشد، زیرا برخی محدودیت‌ها و حفاظت‌های تجاری ممکن است در برخی سناریوهای نظامی نامناسب یا خطرناک باشند. شناخت دقیق این محدودیت‌ها به تیم کمک می‌کند در شرایط خاص بتواند عملکرد مدل را بهینه‌سازی کند.

در نهایت، تیم به‌صورت متمرکز بر گردآوری، نشانه‌گذاری و تحلیل داده‌ها تمرکز دارد و نگهبان تضمین کیفیت به‌عنوان دروازه‌بان نهایی، پیش از استفاده یا انتشار اطلاعات، عملکرد مدل را ارزیابی می‌کند. این نقش باعث می‌شود که تیم سریع حرکت کند اما بدون ازدست‌دادن اطمینان از کیفیت خروجی‌ها.

آینده هوش مصنوعی نظامی به سمتی پیش می‌رود که نقش نگهبان کیفیت به‌تدریج توسط خود هوش مصنوعی جایگزین خواهد شد و سیستم‌ها بدون نظارت انسانی به خود ارزیابی می‌پردازند. اما تا آن زمان، حضور انسان‌ها در چرخه عملیات هوش مصنوعی، به‌ویژه در تیم‌های کوچک، ضروری و حیاتی باقی می‌ماند./ منبع