ارزیابی امنیت عامل هوش مصنوعی

یک عاملِ خودمختارِ هوش مصنوعی را (عاملی که ابزار فرا می‌خواند و به‌سوی یک هدف عمل می‌کند) برای ضعف‌های امنیتی می‌سنجد: اختیار بیش از حد، فراخوانی ناامن ابزار، تزریق پرامپت غیرمستقیم از راه آنچه می‌خواند، ربودن جریان کاری، و نبودِ مهارِ انسانی بر اقدامات پرتأثیر. بر پایه‌ی OWASP Top 10 for LLM Applications و راهنمای OWASP AI Testing Guide است و هر یافته اثبات و رتبه‌بندی می‌شود.

چت‌بات پاسخ می‌دهد؛ عامل عمل می‌کند. ریسکِ افزوده در یک عامل، «اختیار» است: می‌تواند ابزار فرا بخواند، جریان‌های چندگامی را اجرا کند و اقدامات واقعی انجام دهد، پس اثرِ هدایتِ آن بسیار بالاتر است. ارزیابی عامل بر همین تمرکز دارد: ابزارها، مجوزهایشان، مهارهای انسانی، و این‌که یک گامِ به‌خطرافتاده تا کجا می‌رسد.

یعنی عامل می‌تواند بیش از آنچه وظیفه‌اش نیاز دارد انجام دهد: ابزارهایی را که لازم ندارد فرا بخواند، به سامانه‌هایی بیرون از کارش برسد، یا اقدامات برگشت‌ناپذیر را بی‌بررسی انجام دهد. این، ریسکِ سرخطِ عامل‌ها در فهرست OWASP Top 10 for LLM Applications است، چون اندازه‌ی خسارت را هنگام منحرف شدن عامل از مسیر تعیین می‌کند.

معمولاً از راه آنچه می‌خواند. عامل بر پایه‌ی مشاهدات عمل می‌کند (خروجی یک ابزار، یک صفحه‌ی وبِ واکشی‌شده، یک سند بازیابی‌شده) و یک دستور تزریق‌شده که در آن محتوا پنهان است می‌تواند برنامه‌اش را تغییر دهد. چون عامل به مسیر داده‌ی خودش اعتماد می‌کند، یک مشاهده‌ی مسموم می‌تواند استدلالش را بی‌هیچ پیام مستقیمی از مهاجم علیه شما بگرداند.

هر ابزار را از سمت عامل می‌آزماییم: این‌که آیا پارامترها را اعتبارسنجی می‌کند، مستقل مجوز را بررسی می‌کند و به کمترین دسترسی محدود شده است. ارزیابی عمیقِ سامانه‌های بک‌اندِ پشتِ آن ابزارها دامنه‌ای جداست که می‌توانیم بیفزاییم؛ مرزِ میان عامل و ابزار بخشی از این سرویس است.

دقیقاً به همین دلیل دامنه‌گذاری مهم است. ترجیح ما یک محیط staging است که ابزارهای عامل در آن به سامانه‌های آزمایشی اشاره کنند، تا اقدامی که در طول تست انجام می‌شود بی‌خطر باشد. اگر ناچار روی تولید تست کنیم، محدودیت‌ها را از پیش توافق می‌کنیم، از اقدامات برگشت‌ناپذیر پرهیز می‌کنیم و یک نقطه‌ی تماس در سمت شما نگه می‌داریم تا فوراً متوقف شویم.

هر یافته یک امتیاز CVSS برای یک مبنای مشترک می‌گیرد که با دامنه‌ی اثرِ واقعی تعدیل می‌شود: یک عاملِ هدایت‌شده چه چیزی را می‌تواند بخواند، تغییر دهد یا راه بیندازد، و آیا یک اقدام پرتأثیر مهارِ انسانی ندارد، و به فهرست OWASP Top 10 for LLM Applications نگاشت می‌شود. عاملی که فقط می‌تواند متن پیش‌نویس کند ریسکی متفاوت از عاملی است که می‌تواند پول جابه‌جا کند.

مدت زمان به پیچیدگی عامل بستگی دارد: تعداد ابزارها، عمق جریان‌های کاری، و این‌که آیا چند عامل با هم تعامل دارند. یک ارزیابی معمول حدود دو تا چهار هفته طول می‌کشد و پس از دامنه‌گذاری برآورد دقیق می‌دهیم. تست مجدد پس از رفع، انجام می‌شود.