LLM Model Security Assessment
Security assessment of Large Language Models including prompt injection, model extraction, and training data leakage
يختبر تقييمنا لأمن النموذج LLM نموذجاً لغوياً كبيراً على مستوى النموذج نفسه — أوزانه، وسلوكه، ونقطة النهاية التي تخدمه — لا التطبيق الملفوف حوله. نختبر ما إذا كان يمكن دفع النموذج إلى ما وراء تدريبه على الأمان (كسر الحماية والمدخلات العدائية)، وما إذا كان يكشف معلومات حسّاسة أو البيانات التي دُرِّب عليها، وما إذا كان يمكن نسخه أو استعادة معاملاته (استخراج النموذج وسرقته)، وما إذا كان يصمد في مواجهة التسميم والمدخلات المشوَّهة. ولأن مرشّح أمان مضبوطاً للإنجليزية يمكن تجاوزه بصور المحارف الفارسية وخلط الخطوط التي تُبقي فهم النموذج سليماً، نختبر أيضاً أساليب التهرّب الخاصة باللغة. ويتّبع العمل OWASP Top 10 for LLM Applications وOWASP AI Testing Guide، ويستند إلى MITRE ATLAS. ويُثبَت كل نتيجة، وتُصنَّف بـ CVSS إلى جانب أثرها الفعلي، وتُوثَّق مع إصلاح ملموس.
ما الذي يشمله
كسر الحماية وتجاوز التدريب على الأمان: دفع النموذج إلى ما وراء السلوك الذي دُرِّب على رفضه
حقن الأوامر المباشر وغير المباشر في مواجهة النموذج
التهرّب الخاص باللغة: صور المحارف، والمحارف صفرية العرض، وتشويش خلط الخطوط في الفارسية
كشف المعلومات الحسّاسة، بما في ذلك بيانات التدريب المحفوظة
استخراج النموذج وسرقته عبر نقطة نهاية الاستدلال (inference)
استدلال العضوية: ما إذا كان سجلّ معيّن ضمن بيانات التدريب
المدخلات العدائية والمتانة في مواجهة الأوامر المشوَّهة أو المصنوعة
انكشاف تسميم البيانات والنموذج، حيث يكون مسار التدريب أو الضبط الدقيق (fine-tune) في النطاق
المعالجة غير الآمنة للمخرجات حيث تصل مخرجات النموذج إلى نظام آخر
الاستهلاك غير المحدود وحجب خدمة النموذج
مراجعة نشر نقطة نهاية النموذج وإعدادها
كيف يعمل
- ملخّص تنفيذي مع نظرة عامة على المخاطر لصنّاع القرار
- تقرير تقني مفصّل، كل نتيجة مع حالة قابلة لإعادة الإنتاج
- نتائج كسر الحماية، وحقن الأوامر، والتهرّب الخاص باللغة
- نتائج كشف المعلومات وتسريب بيانات التدريب
- نتائج استخراج النموذج وسرقته واستدلال العضوية
- نتائج المتانة ومعالجة المخرجات ونشر نقطة النهاية
- ربط النتائج بـ OWASP Top 10 for LLM Applications، مع CVSS والأثر على العمل
- إرشاد معالجة محدَّد الأولويات وإعادة اختبار بعد المعالجة
لماذا حافظ سيكيور
الأسئلة الشائعة
يختبر نموذجاً لغوياً كبيراً على مستوى النموذج ونقطة نهايته — كسر الحماية وتجاوز التدريب على الأمان، وحقن الأوامر، وكشف المعلومات وتسريب بيانات التدريب، واستخراج النموذج وسرقته، والمتانة في مواجهة المدخلات العدائية، وأمن النشر — تبعاً لـ OWASP Top 10 for LLM Applications وOWASP AI Testing Guide، مع إثبات كل نتيجة وتصنيفها.
يختبر تقييم التطبيق المنتَج كاملاً المبني حول نموذج — أوامره، ومصادر بياناته، وتكاملاته، ومصادقة التطبيق نفسه. أما تقييم النموذج فيختبر النموذج نفسه: تدريبه على الأمان، وما حفظه، وما إذا كان يمكن نسخه. والفرق التي تستضيف نموذجها أو تضبطه ضبطاً دقيقاً (fine-tune) تحتاج إلى الرؤية على مستوى النموذج؛ أما التي تستهلك نموذجاً عبر تطبيق فحسب فتبدأ عادةً بتقييم التطبيق.
كسر الحماية هو حمل النموذج على تجاهل قواعد الأمان الخاصة به — أن يُنتِج ما دُرِّب على رفضه. أما حقن الأوامر فهو حمله على اتّباع تعليمة المهاجم بدلاً من التي أُعطِيت له، غالباً عبر محتوى يقرؤه. وهما متداخلان، ويختبر تقييم النموذج كليهما.
في الحدّ الأدنى، الوصول إلى نقطة نهاية النموذج وواجهته. وحيث يكون النموذج مستضافاً ذاتياً، فإن الوصول إلى الأوزان، وإعداد النشر، وأي مسار ضبط دقيق (fine-tune) أو تدريب (رؤية صندوق أبيض) يتيح لنا اختبار الاستخراج والحفظ والتسميم بعمق أكبر بكثير. ونحدّد معكم عمق الوصول قبل البدء.
الأوضاع الثلاثة. الصندوق الأسود يصل إلى النموذج عبر نقطة نهايته فقط، والصندوق الأبيض يعمل من الأوزان وإعداد النشر، والرمادي يقع بينهما. والاستخراج والمتانة ذوا معنى في الصندوق الأسود؛ أما نتائج الحفظ والتسميم والنشر فتحتاج إلى الوصول الأعمق، لذا نوائم الوضع مع الأسئلة التي تهمّكم.
يُفضَّل نشر على بيئة اختبار (staging) يطابق الإنتاج، لأن اختبار الاستخراج وحجب الخدمة يرسل حجماً كبيراً من الاستعلامات. وحيث نختبر على الإنتاج، نتّفق أولاً على حدود المعدّل والنطاق، كيلا تتعطّل الخدمة الحيّة.
تُقيَّم كل نتيجة بـ CVSS وتُعرَض إلى جانب أثرها الفعلي، كيلا يُخلَط فضول بتسريب بيانات حسّاسة أو بمسار عملي لنسخ النموذج. وهذا الاقتران هو ما يتيح لكم الإصلاح بالترتيب الصحيح.
نعم. إعادة الاختبار بعد المعالجة جزء من المهمة: نتأكّد من أن كل إصلاح يُغلِق المشكلة فعلاً ولم يُضعِف النموذج في موضع آخر، ويُحدَّث التقرير ليعكس الحالة بعد المعالجة.
خدمات ذات صلة
خدمات تكميلية قد تكون مفيدة لكم