ارزیابی امنیت مدل LLM

یک مدل زبانی بزرگ را در سطح مدل و endpoint آن می‌آزماید؛ jailbreak و دور زدن آموزش ایمنی، تزریق پرامپت، افشای اطلاعات و نشت داده‌ی آموزشی، استخراج و سرقت مدل، مقاومت در برابر ورودی مخرب، و امنیت استقرار؛ بر پایه‌ی فهرست OWASP Top 10 for LLM Applications و راهنمای OWASP AI Testing Guide، و هر یافته اثبات و رتبه‌بندی می‌شود.

ارزیابی اپلیکیشن کلِ محصولی را می‌آزماید که دور یک مدل ساخته شده؛ پرامپت‌هایش، منابع داده‌اش، یکپارچه‌سازی‌هایش و احراز هویت خودِ اپ. ارزیابی مدل خودِ مدل را می‌آزماید: آموزش ایمنی‌اش، آنچه به‌خاطر سپرده، و این‌که آیا می‌توان کپی‌اش کرد. تیم‌هایی که مدل خودشان را میزبانی یا fine-tune می‌کنند به نمای سطح مدل نیاز دارند؛ تیم‌هایی که مدل را تنها از راه یک اپ مصرف می‌کنند معمولاً از ارزیابی اپلیکیشن آغاز می‌کنند.

jailbreak یعنی وادار کردن مدل به نادیده‌گرفتن قواعد ایمنی خودش؛ تولید آنچه آموزش دیده رد کند. تزریق پرامپت یعنی وادار کردن آن به پیروی از دستور مهاجم به‌جای دستوری که به آن داده شده، اغلب از راه محتوایی که می‌خواند. این دو هم‌پوشانی دارند و ارزیابی مدل هر دو را می‌آزماید.

دست‌کم دسترسی به endpoint مدل و رابط آن. آنجا که مدل خود‌میزبان است، دسترسی به وزن‌ها، پیکربندی استقرار و هر مسیر fine-tune یا آموزش (یک نمای white-box) می‌گذارد استخراج، به‌خاطرسپاری و مسموم‌سازی را بسیار کامل‌تر بیازماییم. عمق دسترسی را پیش از شروع با شما تعیین می‌کنیم.

هر سه. black-box تنها از راه endpoint به مدل می‌رسد، white-box از وزن‌ها و پیکربندی استقرار کار می‌کند، و grey-box میان این دو می‌نشیند. استخراج و مقاومت در black-box معنادارند؛ یافته‌های به‌خاطرسپاری، مسموم‌سازی و استقرار به دسترسی ژرف‌تر نیاز دارند، پس حالت را با پرسش‌هایی که برای شما مهم‌اند هماهنگ می‌کنیم.

یک استقرار staging که آینه‌ی production باشد ترجیح دارد، چون تست استخراج و منع سرویس حجم بالایی از پرس‌وجو می‌فرستد. آنجا که روی production تست کنیم، نخست بر محدودیت‌های نرخ و مرز توافق می‌کنیم، تا سرویس زنده مختل نشود.

هر یافته با CVSS نمره می‌گیرد و در کنار اثر واقعی‌اش ارائه می‌شود، تا یک کنجکاوی با نشت داده‌ی حساس یا یک مسیر عملی برای کپی‌کردن مدل اشتباه گرفته نشود. همین جفت‌کردن است که می‌گذارد به ترتیب درست رفع کنید.

بله. تست مجدد پس از رفع بخشی از کار است: تأیید می‌کنیم که هر رفع واقعاً مسئله را می‌بندد و مدل را جای دیگری سست نکرده است، و گزارش به‌روزرسانی می‌شود تا وضعیت رفع‌شده را بازتاب دهد.