امنیت همیشگی برای هوش مصنوعی امکان‌پذیر نیست

هوش مصنوعی در سال‌های اخیر وعده‌ای را مطرح کرده که برنامه‌نویسی کامپیوتر دیگر نیازمند مهارت‌های پیچیده نیست و کاربران می‌توانند با جملات ساده انگلیسی وظایف مفید را به مدل‌های زبانی بزرگ واگذار کنند. اما همین سادگی، نقطه ضعف سیستم‌هاست. مشکل اصلی آن است که مدل‌های زبانی بزرگ داده و دستور را جدا نمی‌کنند و هر رشته متنی که دریافت کنند، بسته به نوع آن، پاسخ می‌دهند یا اقدام می‌کنند. برای مثال، اگر کاربری از هوش مصنوعی بخواهد یک سند هزار صفحه‌ای را خلاصه کند و اطلاعات محلی خود را بررسی کرده و ایمیلی به تیم ارسال کند، اما سند شامل دستوری برای ارسال محتوای هارد دیسک به یک آدرس هکر باشد، مدل به احتمال زیاد آن را اجرا می‌کند.

این وضعیت وقتی خطرناک‌تر می‌شود که سه عامل همزمان فعال باشند: دسترسی به محتوای خارجی، دسترسی به داده‌های خصوصی و توانایی ارتباط با جهان بیرون، که به آن «سه‌گانه مرگبار» گفته می‌شود. نمونه‌ای از این آسیب‌پذیری در نسخه اولیه Copilot مایکروسافت شناسایی شد و شرکت موفق شد آن را قبل از سوءاستفاده عمومی برطرف کند. پیش از عمومی شدن ChatGPT نیز این ضعف شناخته شده بود و اصطلاح «تزریق فرمان» (prompt injection) برای آن ابداع شد. برخی سوءاستفاده‌ها در سطح محدود مثل استفاده نادرست از ربات خدمات مشتری DPD اتفاق افتاد، اما خطرات جدی مالی هنوز رخ نداده‌اند.

از آنجا که مدل‌های زبانی بزرگ به‌سادگی دستورات متنی را دنبال می‌کنند، جلوگیری کامل از دستورات مخرب دشوار است. برخی چت‌بات‌ها با تعیین «سیستم پرامپت» تلاش می‌کنند دستورات حساس را از کنترل کاربران جدا کنند، اما موفقیت این روش صددرصد نیست و شکست‌های گاه‌به‌گاه می‌تواند خطرآفرین باشد. ساده‌ترین راه کاهش خطر، حذف یکی از سه عنصر سه‌گانه مرگبار است. اگر داده‌ها فقط از منابع داخلی یا معتبر باشند، دسترسی به محتوای خارجی حذف می‌شود و خطر کاهش می‌یابد. دستیارهای کدنویسی محدود به یک پایگاه داده معتبر یا اسپیکرهای هوشمند محدود به دستورات صوتی مثال‌هایی از این رویکرد هستند.

خط دوم دفاع این است که مدل‌های مواجه با داده‌های غیرقابل اعتماد باید به‌عنوان «مدل غیرقابل اعتماد» در نظر گرفته شوند و از دسترسی به اطلاعات حساس محروم شوند. اما بسیاری از وظایف هوش مصنوعی مستلزم مدیریت داده‌های خارجی هستند، مانند دسترسی به صندوق ایمیل، که هم خصوصی و هم غیرقابل اعتماد است و دو عنصر سه‌گانه را شکل می‌دهد. خط سوم پیشگیری، جلوگیری از سرقت داده با محدود کردن کانال‌های ارتباطی است. ارسال ایمیل یا دسترسی وب می‌تواند مسیر نشت اطلاعات باشد و کنترل آن دشوار است.

جلوگیری کامل از سه‌گانه مرگبار تضمین امنیت نمی‌کند، اما باز نگه داشتن هر سه عنصر، تقریباً تضمین می‌کند که آسیب‌پذیری‌ها کشف خواهند شد. برخی شرکت‌ها از این نگرانی‌ها برای تأخیر در عرضه ویژگی‌های هوش مصنوعی استفاده کرده‌اند. فناوری‌های جدید مانند پروتکل «مدل کانتکست» (MCP) که به کاربران امکان نصب اپ‌ها برای افزودن قابلیت‌های جدید به دستیارهای هوش مصنوعی را می‌دهند، می‌توانند در دست‌های بی‌احتیاط خطرساز شوند.

صنعت هوش مصنوعی عمدتاً با آموزش بهتر مدل‌ها سعی در حل مشکلات امنیتی دارد؛ هرچه مدل مثال‌های بیشتری از رد دستورات خطرناک ببیند، احتمال اجرای دستور مخرب کاهش می‌یابد. رویکردهای دیگر شامل محدود کردن عملکرد مدل‌های زبانی بزرگ است، مانند سیستم CaMeL گوگل که از دو مدل مجزا برای مدیریت سه‌گانه مرگبار استفاده می‌کند: یکی داده‌های غیرقابل اعتماد و دیگری بقیه اطلاعات را مدیریت می‌کند. این روش امنیت را تضمین می‌کند اما محدودیت‌های عملیاتی ایجاد می‌کند. برخی پیشنهاد می‌کنند نرم‌افزارها از گرایش به قطعیت صرف دست بکشند و مانند مهندسان فیزیک با خطاها و حاشیه ایمنی کار کنند. با این حال، راه‌حل آسانی در دسترس نیست و شرکت‌ها هنوز ویژگی‌های پیشرفته هوش مصنوعی وعده داده شده را به‌طور کامل عرضه نکرده‌اند./ منبع