LLM Application Security Assessment

يقيّم تطبيقاً يُضمِّن نموذجاً لغوياً كبيراً — فيختبر حقن الأوامر (المباشر وغير المباشر)، والمعالجة غير السليمة للمخرجات، وكشف المعلومات الحسّاسة، والوكالة المفرطة، وضعف RAG والتضمين (embedding)، والعزل بين المستخدمين، والاستهلاك غير المحدود — تبعاً لـ OWASP Top 10 for LLM Applications وOWASP AI Testing Guide، مع إثبات كل نتيجة وتصنيفها.

يتناول تقييم النموذج النموذج نفسه — سلوكه، ومتانته، وتدريبه ومواءمته. أما تقييم التطبيق فيتناول كيفية ربط النموذج بمنتَج: الأوامر، والأدوات، والاسترجاع، ومعالجة المخرجات، وضوابط الوصول من حوله. ومعظم مخاطر العالم الواقعي تقيم في طبقة التطبيق، وهي ما تختبره هذه الخدمة.

هو هجوم لا يكتب فيه المهاجم التعليمة الخبيثة في المحادثة، بل يخبّئها في محتوى يقرؤه النموذج لاحقاً — مستند، أو صفحة ويب، أو بريد إلكتروني، أو مصدر RAG. وحين يسترجع النموذج ذلك المحتوى، يتّبع التعليمة المحقونة كأنها مشروعة. وهو خطير لأن الضحية هي مسار بيانات النموذج الموثوق نفسه.

نعم. نختبر ما إذا كان الاسترجاع يحترم صلاحيات المستخدم (كيلا يسترجع مستخدم مستندات آخر)، وما إذا كان يمكن تسميم مصدر RAG لتوجيه النموذج، وما إذا كان المحتوى المضمَّن يستطيع حمل حقن غير مباشر. والاسترجاع من أكثر المواضع شيوعاً التي يسرّب فيها تطبيق LLM البيانات.

الوكالة المفرطة هي أن يستطيع النموذج استدعاء أدوات أو اتخاذ إجراءات أوسع مما تحتاجه المهمة — حذف سجلّات، أو إرسال رسائل، أو إجراء مشتريات، أو الوصول إلى أنظمة داخلية. فإذا استطاع حقن توجيه النموذج، صارت تلك الوكالة وكالة المهاجم. نتحقق من أن الأدوات محدودة بأقل امتياز وأن الإجراءات عالية الأثر تتطلّب تحقّقاً بشرياً.

نرسم خريطة وجهة سفر الأوامر والمخرجات — ما يُسجَّل، وما يُرسَل إلى مزوّد طرف ثالث، وما يغادر حدودكم — ونُبرِزه كجزء من التقييم. وأثناء الاختبار نستخدم بيانات محدودة وغير حسّاسة حيثما أمكن ونتّفق مسبقاً على ما يجوز استخدامه، كيلا يُنشئ الاختبار نفسه انكشافاً.

كثير من الاختبارات محادثات للقراءة فقط وهي آمنة. أما الاختبارات التي قد تُطلِق أداة أو إجراءً — شراء، أو رسالة، أو حذف — فيُتَّفق عليها مسبقاً وتُجرى بحذر؛ ونفضّل بيئة اختبار (staging) تطابق الإنتاج، وعندما يتعيّن الاختبار على الإنتاج نضع حدوداً ونُبقي جهة اتصال من طرفكم للإيقاف فوراً.

تحصل كل نتيجة على درجة CVSS كأساس مشترك، تُعدَّل بالأثر الفعلي — إلى أي بيانات أو إجراء تصل، وبأي سهولة، وهل تعبر حدّ مستخدم أو مستأجر — وتُربَط بـ OWASP Top 10 for LLM Applications. لذا قد تأخذ مشكلتان بالدرجة نفسها أولويتين مختلفتين.

تعتمد المدة على تعقيد التطبيق — عدد الأدوات، ومصادر RAG، وأدوار المستخدمين. ويستغرق التقييم المعتاد نحو أسبوعين إلى أربعة أسابيع، ونقدّم تقديراً محدَّداً بعد تحديد النطاق. وإعادة الاختبار بعد المعالجة مشمولة، للتأكّد من ثبات كل إصلاح.