ارزیابی امنیتی و آزمون نفوذ سامانه‌های هوش مصنوعی (AI)

سامانه‌های AI آسیب‌پذیری‌های منحصربه‌فردی مانند prompt injection، jailbreaking و استخراج مدل را معرفی می‌کنند که تست امنیتی سنتی قادر به شناسایی آن‌ها نیست.

مدل‌های LLM می‌توانند به‌طور ناخواسته داده‌های حساس آموزشی، اطلاعات مشتریان یا منطق تجاری اختصاصی را از طریق پرس‌وجوهای دقیقاً طراحی‌شده افشا کنند.

عامل‌های AI با دسترسی به سیستم‌های خارجی می‌توانند برای انجام اقدامات غیرمجاز، دسترسی به منابع محدود یا افزایش امتیازات دستکاری شوند.

مدل‌های از پیش آموزش‌دیده، افزونه‌های شخص ثالث و منابع داده خارجی می‌توانند درهای پشتی، داده‌های مسموم یا رفتارهای مخرب را به سامانه‌های AI شما وارد کنند.