ارزیابی امنیت چت‌بات

یک سامانه‌ی هوش مصنوعی گفت‌وگومحور را برای ضعف‌های امنیتیِ قابل‌دسترس از راه مکالمه می‌سنجد: تزریق پرامپت و jailbreak، نشت داده، دور زدن نرده‌های محافظ، نقص‌های session، و امنیت اقدامات بک‌اندی که می‌تواند راه بیندازد؛ بر پایه‌ی OWASP Top 10 for LLM Applications و راهنمای OWASP AI Testing Guide، و هر یافته اثبات و رتبه‌بندی می‌شود.

jailbreak یعنی وادار کردن مدل به نادیده‌گرفتن قواعد ایمنی خودش؛ گفتن آنچه به آن گفته شده نگوید. تزریق پرامپت یعنی وادار کردن آن به پیروی از دستور مهاجم به‌جای دستور اپلیکیشن، اغلب از راه محتوایی که می‌خواند نه یک درخواست مستقیم. این دو هم‌پوشانی دارند و ارزیابی چت‌بات هر دو را می‌آزماید.

بسیاری از فیلترهای ایمنی برای انگلیسی تنظیم شده‌اند. گونه‌های نویسه‌ی فارسی (ی/ي، ک/ك)، نویسه‌های نامرئی، درهم‌آمیزی خط و فینگلیش می‌توانند آنچه را فیلتر می‌بیند تغییر دهند بی‌آن‌که فهم مدل عوض شود و بارِ حمله را عبور دهند. ارزیابی‌ای که فقط انگلیسی را می‌آزماید این‌ها را از دست می‌دهد، پس ما شیوه‌های دور زدنِ خاصِ فارسی را مستقیم می‌آزماییم.

بله؛ از راه پرامپت سامانه، پایگاه دانش، یا تاریخچه‌ی session کاربر دیگر اگر state به‌درستی جدا نشده باشد. می‌آزماییم که آیا می‌توان چت‌بات را به آشکار کردن دستورهایش، بازیابی اسنادی که کاربر حق آن‌ها را ندارد، یا انتقال اطلاعات میان sessionها واداشت.

ما مرز را می‌آزماییم: هرجا چت‌بات می‌تواند یک اقدام بک‌اند را راه بیندازد، بررسی می‌کنیم که آن اقدام تأیید می‌کند چه کسی درخواست می‌دهد و در محدوده‌ی مجوزهای او می‌ماند. ارزیابی کامل خودِ سامانه‌های بک‌اند دامنه‌ای جداست که می‌توانیم بیفزاییم، اما مهارِ میان چت‌بات و بک‌اند بخشی از این سرویس است.

تست گفت‌وگویی عمدتاً ایمن است، اما تست‌هایی که می‌توانند یک اقدام واقعی را راه بیندازند یا به داده‌ی واقعی مشتری برسند از پیش توافق و با احتیاط اجرا می‌شوند. ترجیح ما یک نمونه‌ی staging است که آینه‌ی تولید باشد، و اگر ناچار روی سامانه‌ی زنده تست کنیم، محدودیت می‌گذاریم و یک نقطه‌ی تماس در سمت شما نگه می‌داریم تا فوراً متوقف شویم.

هر یافته یک امتیاز CVSS برای یک مبنای مشترک می‌گیرد که با اثر واقعی تعدیل می‌شود: چه چیزی را نشت می‌دهد یا راه می‌اندازد، چقدر آسان، و آیا از مرز یک کاربر می‌گذرد، و به فهرست OWASP Top 10 for LLM Applications نگاشت می‌شود. یک لغزشِ نرده‌ی محافظ که فقط بر لحن اثر می‌گذارد با لغزشی که به داده‌ی مشتری می‌رسد یکی نیست.

مدت زمان به پیچیدگی چت‌بات بستگی دارد: پایگاه دانش، اقدامات بک‌اند و زبان‌هایی که پشتیبانی می‌کند. یک ارزیابی معمول حدود یک تا سه هفته طول می‌کشد و پس از دامنه‌گذاری برآورد دقیق می‌دهیم. تست مجدد پس از رفع، انجام می‌شود.