AI Workflow Automation Security

Security assessment for AI-assisted business workflows and automation platforms

حول هذه الخدمة

يختبر تقييمنا لأمن أتمتة سير العمل بالذكاء الاصطناعي عمليات العمل التي يقرأ فيها نموذج ذكاء اصطناعي بيانات، ويتّخذ قراراً أو يصوغه، ويُطلِق إجراءات عبر الموصّلات (connectors) والأدوات. والخطر ليس فيما يقوله النموذج فحسب؛ بل في ما تفعله الأتمتة بسلطتها الخاصة. نختبر ما إذا كان مهاجم يستطيع توجيه تلك القرارات عبر المحتوى الذي يستوعبه سير العمل (حقن الأوامر غير المباشر)، وما إذا كانت الأدوات والموصّلات التي تستطيع الأتمتة استدعاءها مخوَّلة على نحو سليم وبأقل امتياز، وما إذا كان بإمكان مَن لا ينبغي له إطلاق مُشغِّل (trigger)، وما إذا كان يمكن تجاوز ضابط التدخّل البشري. ويتّبع العمل OWASP AI Testing Guide وOWASP Top 10 for LLM Applications — مع عناية بالوكالة المفرطة والاستخدام غير الآمن للأدوات — ويستند إلى MITRE ATLAS وNIST AI RMF. ويُثبَت كل نتيجة، وتُصنَّف بـ CVSS إلى جانب أثرها الفعلي، وتُوثَّق مع إصلاح ملموس.

ما الذي يشمله

حقن الأوامر غير المباشر عبر المحتوى الذي يستوعبه سير العمل: المستندات، والبريد الإلكتروني، والتذاكر، وحقول النماذج، وحمولات webhook

الوكالة المفرطة: ما إذا كانت الأتمتة تستطيع اتخاذ إجراءات تتجاوز ما تحتاجه المهمة

تخويل الأدوات والموصّلات: أقل امتياز لهوية الأتمتة، وهل يتحقق كل إجراء ممّن ينوب عنه

أمن المُشغِّل (trigger): مَن أو ما الذي يستطيع بدء سير عمل، وهل نقطة الدخول تلك مصادَق عليها

تجاوز التدخّل البشري وخطوة الموافقة

منطق عمل القرار الآلي، بما في ذلك الموافقات والعتبات والتفرّع

التعامل مع الأسرار وبيانات الاعتماد داخل خطوات سير العمل والتكاملات

تدفّق البيانات وتسريبها عبر الأنظمة التي يصلها سير العمل

التحقق من المدخلات ومعالجة المخرجات حيث تُشغِّل مخرجات سير العمل نظاماً آخر

قابلية التدقيق: هل تُسجَّل الإجراءات الآلية على نحو يتيح لكم إعادة بناء ما حدث

الاستهلاك غير المحدود: التكلفة وحجب الخدمة عبر المسار الآلي

كيف يعمل

1
اكتشاف سير العمل ورسم خريطته
نرسم خريطة سير العمل: مُشغِّلاته، والبيانات التي يقرؤها، وكل نقطة يتّخذ فيها الذكاء الاصطناعي قراراً أو يصوغه، وكل أداة وموصّل ونظام يستطيع العمل عليه. وهذا يحدّد حدود ما ينبغي وما لا ينبغي أن تستطيع الأتمتة فعله.
2
اختبار الحقن ومسار البيانات
نزرع تعليمات يتحكّم بها المهاجم في المحتوى الذي يستوعبه سير العمل — مستند، أو بريد إلكتروني، أو تذكرة، أو webhook — ونختبر ما إذا كان النموذج يتّبعها بدلاً من المهمة التي أُسنِدت إليه. وهنا تتحوّل عملية آلية بهدوء إلى أداة للمهاجم.
3
اختبار الوكالة والتخويل
لكل أداة وموصّل تستطيع الأتمتة استدعاءه، نختبر ما إذا كان الإجراء يتحقق ممّن ينوب عنه ويبقى ضمن صلاحياته، وما إذا كانت هوية الأتمتة نفسها محدودة إلى ما تحتاجه المهمة بالضبط.
4
اختبار المُشغِّل والمنطق والتسريب
نختبر ما إذا كان بإمكان مَن لا ينبغي له بدء سير عمل، وما إذا كان يمكن تخطّي خطوة موافقة أو تدخّل بشري، وما إذا كان يمكن دفع منطق القرار خارج مساره المقصود، وما إذا كان يمكن نقل البيانات عبر الأنظمة المتّصلة على نحو لا ينبغي.
5
التحقق وإعداد التقارير وإعادة الاختبار
يُثبَت كل نتيجة بحالة قابلة لإعادة الإنتاج، وتُصنَّف بـ CVSS وبالأثر الفعلي، وتُربَط بـ OWASP Top 10 for LLM Applications، وتُوثَّق مع إصلاح ملموس. وبعد المعالجة، نعيد الاختبار للتأكّد من ثبات الإصلاحات.
المخرجات
  • ملخّص تنفيذي مع نظرة عامة على المخاطر لصنّاع القرار
  • تقرير تقني مفصّل، كل نتيجة مع حالة قابلة لإعادة الإنتاج
  • نتائج حقن الأوامر غير المباشر عبر مسارات البيانات المستوعَبة
  • نتائج الوكالة المفرطة وتخويل الأدوات
  • نتائج المُشغِّل، وتجاوز الموافقة، ومنطق العمل
  • نتائج تدفّق البيانات وتسريبها عبر الأنظمة المتّصلة
  • ربط النتائج بـ OWASP Top 10 for LLM Applications، مع CVSS والأثر على العمل
  • إرشاد معالجة محدَّد الأولويات وإعادة اختبار بعد المعالجة

لماذا حافظ سيكيور

الإجراء، لا الإجابة وحدها
لا نكتفي بجعل النموذج يُنتِج نصاً خاطئاً؛ بل نختبر الإجراءات التي يستطيع سير العمل اتخاذها بسلطته الخاصة، وهو الموضع الذي تتحوّل فيه عملية آلية إلى ضرر في العالم الواقعي.
تركيز على الحقن غير المباشر
تقرأ الأتمتة البيانات من مصادر كثيرة، وأيّ منها قد يحمل تعليمة مخبّأة. نختبر مسارات البيانات المستوعَبة التي لا يمسّها تقييم المحادثة وحدها أبداً.
أقل امتياز بالتصميم
معظم ضرر سير العمل يأتي من هوية أتمتة تستطيع فعل أكثر بكثير من مهمتها. نتحقق مما إذا كان كل موصّل محدوداً إلى ما تحتاجه العملية بالضبط.
قابل لإعادة الإنتاج وقابل للتنفيذ
تأتي كل نتيجة كحالة يمكنكم إعادة تشغيلها، مربوطة بمعيار معترَف به، مع إصلاح ملموس للمُشغِّل، أو حاجز الحماية، أو الموصّل، أو بوابة التخويل.

الأسئلة الشائعة

ما هو تقييم أمن أتمتة سير العمل بالذكاء الاصطناعي؟

يقيّم سير عمل في الأعمال يقرأ فيه نموذج ذكاء اصطناعي بيانات، ويتّخذ قراراً أو يصوغه، ويُطلِق إجراءات عبر الموصّلات والأدوات. ويبحث عن نقاط ضعف في مسارات البيانات المستوعَبة، وتخويل الأدوات والموصّلات، والمُشغِّلات، ومنطق القرار الآلي، تبعاً لـ OWASP AI Testing Guide وOWASP Top 10 for LLM Applications، مع إثبات كل نتيجة وتصنيفها.

ما هو حقن الأوامر غير المباشر، ولماذا يهمّ سير العمل؟

حقن الأوامر غير المباشر تعليمة مخبّأة توضَع داخل محتوى يقرؤه سير العمل — مستند، أو بريد إلكتروني، أو تذكرة، أو webhook — لا يكتبها المستخدم. ولأن سير العمل يستوعب بيانات من مصادر كثيرة ثم يتصرّف بناءً عليها، فإن تعليمة مخبّأة في تلك البيانات تستطيع توجيه الأتمتة إلى فعل شيء لم يُقصَد لها قطّ. وهو مسار الحقن الأهمّ للعمليات الآلية.

ما هي الوكالة المفرطة؟

الوكالة المفرطة هي أن تستطيع الأتمتة اتخاذ إجراءات، أو الوصول إلى أنظمة، تتجاوز ما تحتاجه مهمتها فعلياً — هوية بصلاحيات واسعة، أو موصّل يستطيع الكتابة حيث لا يلزمه إلا القراءة. وهي تحوّل قراراً سيئاً واحداً إلى نطاق أثر كبير، لذا نتحقق من أن كل أداة وموصّل محدود إلى حدّ المهمة.

ما الوصول والمعلومات التي تحتاجونها للبدء؟

في الحالة المثلى: وصف لسير العمل ومُشغِّلاته، والوصول لتشغيله من طرف إلى طرف، وقائمة الأدوات والموصّلات التي يستطيع استدعاءها مع صلاحياتها المقصودة، وعيّنات مدخلات. ومع تعريف سير العمل وإعداد الموصّلات (رؤية صندوق أبيض) نغطّي أكثر بكثير من الاستكشاف من الخارج؛ ونحدّد معكم عمق الوصول قبل البدء.

هل تختبرون بوضع الصندوق الأسود أو الرمادي أو الأبيض؟

الأوضاع الثلاثة. الصندوق الأسود يحاكي غريباً بلا معرفة داخلية، والصندوق الأبيض يعمل من تعريف سير العمل وإعداد الموصّلات، والرمادي يقع بينهما بمعرفة جزئية. ولسير العمل الآلي، تجد الرؤية الرمادية أو البيضاء عادةً عيوب التخويل والوكالة الأهمّ، لذا نوصي بها حيثما أمكن.

هل يُجرى التقييم على بيئة الإنتاج أم بيئة الاختبار؟

بيئة اختبار (staging) تطابق الإنتاج هي الأأمن، لأن تقييم سير العمل يُطلِق إجراءات حقيقية عبر الموصّلات وقد يُنشئ بيانات أو يغيّرها أو يرسلها. وعندما يتعيّن الاختبار على الإنتاج، نتّفق أولاً على حدود غير مدمِّرة ونبقى ضمنها. ونحدّد هذا معكم قبل اتخاذ أي إجراء.

كيف تُصنَّف النتائج؟

تُقيَّم كل نتيجة بـ CVSS وتُعرَض إلى جانب أثرها الفعلي على العمل، كيلا تُخلَط مشكلة طريفة تقنياً وقليلة العواقب بأخرى تسلّم المهاجم إجراءً حرجاً. وهذا الاقتران هو ما يتيح لكم الإصلاح بالترتيب الصحيح.

هل تعيدون الاختبار بعد إصلاحنا للنتائج؟

نعم. إعادة الاختبار بعد المعالجة جزء من المهمة: نتأكّد من أن كل إصلاح يُغلِق المشكلة فعلاً ولم يفتح مساراً جديداً، ويُحدَّث التقرير ليعكس الحالة بعد المعالجة.

هل أنتم مستعدون للبدء؟
تواصلوا مع فريقنا لمناقشة احتياجات تقييم الأمان لديكم