AI Agent Security Assessment
Security assessment for AI agents and autonomous decision systems including tool calling and workflow manipulation
يختبر تقييمنا لأمن وكيل الذكاء الاصطناعي وكيلاً مستقلاً — نظاماً لا يكتفي بالإجابة بل يتصرّف: يستدعي الأدوات، ويشغّل مسارات العمل، ويخطو بنفسه نحو هدف. وهذه الاستقلالية هي الخطر. فإذا استطاع مهاجم توجيه الوكيل، صارت وكالته وكالته هو، لذا نختبر ما يستطيع الوكيل فعله، وكيف يمكن دفعه خارج مهمته، وإلى أي مدى تصل خطوة واحدة مخترَقة. ويتمحور العمل حول الوكالة المفرطة (Excessive Agency) والمخاطر المرتبطة بها في OWASP Top 10 for LLM Applications، ويتّبع OWASP AI Testing Guide، ويستند إلى MITRE ATLAS وإطار NIST لإدارة مخاطر الذكاء الاصطناعي. ويُثبَت كل نتيجة بحالة قابلة لإعادة الإنتاج، وتُصنَّف بـ CVSS إلى جانب أثرها الفعلي، وتُوثَّق مع إصلاح ملموس.
ما الذي يشمله
الوكالة المفرطة: أدوات وإجراءات أوسع مما تحتاجه المهمة، ونطاق الأثر الذي تولّده
أمن استدعاء الأدوات: التخويل، والتحقق من المعاملات، وأقل امتياز لكل أداة
حقن الأوامر غير المباشر عبر مخرجات الأدوات، والمحتوى المسترجَع، والملاحظات التي يقرؤها الوكيل
اختطاف سير العمل والهدف: توجيه الوكيل خارج مهمته عبر مدخلاته نفسها
بوابات التدخّل البشري (human-in-the-loop) على الإجراءات عالية الأثر أو غير القابلة للتراجع
ذاكرة الوكيل وحالته (state): التسميم، وبقاء تعليمة محقونة عبر الخطوات
التنسيق متعدد الوكلاء والثقة بين وكيل وآخر
التحكم في الوصول: إلى ماذا يستطيع الوكيل الوصول، ونيابةً عن مَن
الاستهلاك غير المحدود: الحلقات المنفلتة، والتكلفة، وحجب الخدمة
معالجة المخرجات حيث تصل نتيجة الوكيل إلى نظام آخر
كيف يعمل
- ملخّص تنفيذي مع نظرة عامة على المخاطر لصنّاع القرار
- تقرير تقني مفصّل، كل نتيجة مع إثبات مفهوم قابل لإعادة الإنتاج
- تحليل مدى وصول الوكيل ونطاق أثره: ما الذي يستطيع وكيل موجَّه فعله فعلياً
- نتائج استدعاء الأدوات والتخويل مع توصيات أقل امتياز
- نتائج الحقن واختطاف سير العمل
- توصيات التدخّل البشري وحواجز الحماية للإجراءات عالية الأثر
- ربط النتائج بـ OWASP Top 10 for LLM Applications، مع CVSS والأثر على العمل
- إرشاد معالجة محدَّد الأولويات وإعادة اختبار بعد المعالجة
لماذا حافظ سيكيور
الأسئلة الشائعة
يقيّم وكيل ذكاء اصطناعي مستقلاً — وكيلاً يستدعي الأدوات ويتّخذ إجراءات نحو هدف — بحثاً عن نقاط ضعف أمنية: الوكالة المفرطة، واستدعاء الأدوات غير الآمن، وحقن الأوامر غير المباشر عبر ما يقرؤه، واختطاف سير العمل، وغياب البوابات البشرية على الإجراءات عالية الأثر. ويتّبع OWASP Top 10 for LLM Applications وOWASP AI Testing Guide، مع إثبات كل نتيجة وتصنيفها.
روبوت المحادثة يجيب؛ والوكيل يتصرّف. الخطر الإضافي في الوكيل هو الوكالة — إذ يستطيع استدعاء الأدوات، وتشغيل مسارات عمل متعددة الخطوات، واتخاذ إجراءات حقيقية، فيكون أثر توجيهه أعلى بكثير. ويركّز تقييم الوكيل على ذلك: الأدوات، وصلاحياتها، والبوابات البشرية، وإلى أي مدى تصل خطوة مخترَقة.
هي أن يستطيع الوكيل فعل أكثر مما تتطلّبه مهمته — استدعاء أدوات لا يحتاجها، أو الوصول إلى أنظمة خارج عمله، أو اتخاذ إجراءات غير قابلة للتراجع دون تحقّق. وهي الخطر الأبرز للوكلاء في OWASP Top 10 for LLM Applications، لأنها تحدّد حجم الضرر حين يُوجَّه الوكيل خارج مهمته.
عادةً عبر ما يقرؤه. يتصرّف الوكيل بناءً على ملاحظات — مخرجات أداة، أو صفحة ويب مجلوبة، أو مستند مسترجَع — وتعليمة محقونة مخبّأة في ذلك المحتوى تستطيع إعادة توجيه خطته. ولأن الوكيل يثق بمسار بياناته نفسه، تستطيع ملاحظة مسمَّمة قلب استدلاله ضدّكم دون أي رسالة مباشرة من المهاجم.
نختبر كل أداة من جهة الوكيل: هل تتحقق من المعاملات، وتفحص التخويل باستقلال، وهل هي محدودة بأقل امتياز. أما التقييم العميق للأنظمة الخلفية وراء تلك الأدوات فهو نطاق منفصل يمكننا إضافته؛ أما الحدّ بين الوكيل والأداة فجزء من هذه الخدمة.
لهذا بالضبط يهمّ تحديد النطاق. نفضّل بيئة اختبار (staging) تشير فيها أدوات الوكيل إلى أنظمة اختبار، بحيث يكون أي إجراء يُتَّخذ أثناء الاختبار غير ضارّ. وعندما يتعيّن الاختبار على بيئة الإنتاج نتّفق على الحدود مسبقاً، ونتجنّب الإجراءات غير القابلة للتراجع، ونُبقي جهة اتصال من طرفكم للإيقاف فوراً.
تحصل كل نتيجة على درجة CVSS كأساس مشترك، تُعدَّل بنطاق الأثر الفعلي — ما الذي يستطيع وكيل موجَّه قراءته أو تغييره أو إطلاقه، وهل يفتقر إجراء عالي الأثر إلى بوابة بشرية — وتُربَط بـ OWASP Top 10 for LLM Applications. فالوكيل الذي لا يستطيع إلا صياغة نص خطر مختلف عن وكيل يستطيع تحريك الأموال.
تعتمد المدة على تعقيد الوكيل — عدد الأدوات، وعمق مسارات عمله، وما إذا كانت عدة وكلاء تتفاعل. ويستغرق التقييم المعتاد نحو أسبوعين إلى أربعة أسابيع، ونقدّم تقديراً محدَّداً بعد تحديد النطاق. وإعادة الاختبار بعد المعالجة مشمولة.
خدمات ذات صلة
خدمات تكميلية قد تكون مفيدة لكم
Related insights
What we have written about this service