ارزیابی امنیت اپلیکیشن LLM

اپلیکیشنی را که یک مدل زبانی بزرگ را در خود جای داده ارزیابی می‌کند و تزریق پرامپت (مستقیم و غیرمستقیم)، مدیریت ناامن خروجی، افشای اطلاعات حساس، اختیار بیش از حد، ضعف‌های RAG و embedding، جداسازی کاربران و مصرف بی‌حدومرز را می‌آزماید؛ بر پایه‌ی OWASP Top 10 for LLM Applications و راهنمای OWASP AI Testing Guide، و هر یافته اثبات و رتبه‌بندی می‌شود.

ارزیابی مدل به خودِ مدل می‌پردازد: رفتار، استحکام، آموزش و هم‌ترازی آن. ارزیابی اپلیکیشن به این می‌پردازد که مدل چگونه در یک محصول سیم‌کشی شده است: پرامپت‌ها، ابزارها، بازیابی، مدیریت خروجی و کنترل‌های دسترسی گرد آن. بیشتر ریسک دنیای واقعی در لایه‌ی اپلیکیشن است و همین چیزی است که این سرویس می‌آزماید.

حمله‌ای است که در آن دستور مخرب را مهاجم در گفت‌وگو تایپ نمی‌کند، بلکه در محتوایی پنهان می‌کند که مدل بعداً می‌خواند: یک سند، یک صفحه‌ی وب، یک ایمیل یا یک منبع RAG. وقتی مدل آن محتوا را بازیابی می‌کند، دستور تزریق‌شده را چنان دنبال می‌کند که گویی مشروع است. خطرناک است چون قربانی، همان مسیر داده‌ی مورد اعتماد خودِ مدل است.

بله. می‌آزماییم که آیا بازیابی مجوزهای کاربر را رعایت می‌کند (تا یک کاربر نتواند اسناد کاربر دیگر را بازیابی کند)، آیا منبع RAG قابل مسموم‌سازی است تا مدل را هدایت کند، و آیا محتوای embed‌شده می‌تواند یک تزریق غیرمستقیم را حمل کند. بازیابی یکی از رایج‌ترین جاهایی است که یک اپلیکیشن LLM داده نشت می‌دهد.

اختیار بیش از حد یعنی مدل می‌تواند ابزارهایی را فراخوانی یا اقداماتی را انجام دهد گسترده‌تر از آنچه وظیفه نیاز دارد: حذف رکورد، ارسال پیام، خرید، دسترسی به سامانه‌های داخلی. اگر یک تزریق بتواند مدل را هدایت کند، آن اختیار به دست مهاجم می‌افتد. بررسی می‌کنیم که ابزارها به کمترین دسترسی محدود باشند و اقدامات پرتأثیر به یک تأیید انسانی نیاز داشته باشند.

نگاشت می‌کنیم که پرامپت‌ها و خروجی‌ها کجا می‌روند: چه چیزی ثبت می‌شود، چه چیزی به ارائه‌دهنده‌ی ثالث فرستاده می‌شود و چه چیزی از مرز شما بیرون می‌رود، و آن را به‌عنوان بخشی از ارزیابی علامت می‌زنیم. در طول تست تا جای ممکن از داده‌ی محدود و غیرحساس استفاده می‌کنیم و از پیش توافق می‌کنیم چه چیزی قابل استفاده است، تا خودِ تست، افشای تازه‌ای نسازد.

بسیاری از تست‌ها گفت‌وگوهای فقط‌خواندنی و ایمن‌اند. تست‌هایی که می‌توانند یک ابزار یا یک اقدام را راه بیندازند (خرید، پیام، حذف) از پیش توافق و با احتیاط اجرا می‌شوند؛ ترجیح ما یک محیط staging است که آینه‌ی تولید باشد، و اگر ناچار روی تولید تست کنیم، محدودیت می‌گذاریم و یک نقطه‌ی تماس در سمت شما نگه می‌داریم تا فوراً متوقف شویم.

هر یافته یک امتیاز CVSS برای یک مبنای مشترک می‌گیرد که با اثر واقعی تعدیل می‌شود: به چه داده یا اقدامی می‌رسد، چقدر آسان، و آیا از مرز یک کاربر یا مستأجر می‌گذرد، و به فهرست OWASP Top 10 for LLM Applications نگاشت می‌شود. به همین دلیل دو مسئله با امتیاز یکسان ممکن است اولویت متفاوت بگیرند.

مدت زمان به پیچیدگی اپلیکیشن بستگی دارد: تعداد ابزارها، منابع RAG و نقش‌های کاربری. یک ارزیابی معمول حدود دو تا چهار هفته طول می‌کشد و پس از دامنه‌گذاری برآورد دقیق می‌دهیم. تست مجدد پس از رفع، برای تأیید پابرجابودن هر رفع، انجام می‌شود.