Chatbot Security Assessment

يقيّم نظام ذكاء اصطناعي حواري بحثاً عن نقاط ضعف أمنية يُوصَل إليها عبر المحادثة — حقن الأوامر وكسر الحماية، وتسريب البيانات، وتجاوز حواجز الحماية، وعيوب الجلسة، وأمن الإجراءات الخلفية التي يستطيع إطلاقها — تبعاً لـ OWASP Top 10 for LLM Applications وOWASP AI Testing Guide، مع إثبات كل نتيجة وتصنيفها.

كسر الحماية هو حمل النموذج على تجاهل قواعد الأمان الخاصة به — أن يقول ما قيل له ألّا يقوله. أما حقن الأوامر فهو حمله على اتّباع تعليمة المهاجم بدلاً من تعليمة التطبيق، غالباً عبر محتوى يقرؤه لا عبر طلب مباشر. وهما متداخلان، ويختبر تقييم الروبوت كليهما.

كثير من مرشّحات الأمان مضبوطة للإنجليزية. وصور المحارف الفارسية (ی/ي، ک/ك)، والمحارف صفرية العرض، وخلط الخطوط، والفينغليش (الفارسية بحروف لاتينية) يمكن أن تغيّر ما يراه المرشّح دون أن تغيّر ما يفهمه النموذج، فتمرّر الحمولة. والتقييم الذي يختبر الإنجليزية وحدها يفوته ذلك، لذا نختبر أساليب التهرّب الخاصة بالفارسية مباشرةً.

نعم — عبر أمر نظامه، أو قاعدة معرفته، أو سجلّ جلسة مستخدم آخر إذا لم تُعزَل الحالة (state) عزلاً سليماً. نختبر ما إذا كان يمكن دفع الروبوت لكشف تعليماته، أو استرجاع مستندات لا حقّ للمستخدم فيها، أو نقل معلومات بين الجلسات.

نختبر الحدّ: حيثما يستطيع الروبوت إطلاق إجراء خلفي، نتحقق من أن الإجراء يتثبّت ممّن يطلب ويبقى ضمن صلاحياته. أما التقييم الكامل للأنظمة الخلفية نفسها فهو نطاق منفصل يمكننا إضافته، لكن البوابة بين الروبوت والواجهة الخلفية جزء من هذه الخدمة.

الاختبار الحواري آمن إلى حدّ كبير، لكن الاختبارات التي قد تُطلِق إجراءً حقيقياً أو تصل إلى بيانات عملاء حقيقية يُتَّفق عليها مسبقاً وتُجرى بحذر. ونفضّل نسخة اختبار (staging) تطابق الإنتاج، وعندما يتعيّن اختبار النظام الحيّ نضع حدوداً ونُبقي جهة اتصال من طرفكم للإيقاف فوراً.

تحصل كل نتيجة على درجة CVSS كأساس مشترك، تُعدَّل بالأثر الفعلي — ما الذي يسرّبه أو يُطلِقه، وبأي سهولة، وهل يعبر حدّ مستخدم — وتُربَط بـ OWASP Top 10 for LLM Applications. فزلّة في حاجز الحماية تمسّ النبرة فقط ليست كزلّة تصل إلى بيانات العملاء.

تعتمد المدة على تعقيد الروبوت — قاعدة معرفته، وإجراءاته الخلفية، واللغات التي يخدمها. ويستغرق التقييم المعتاد نحو أسبوع إلى ثلاثة أسابيع، ونقدّم تقديراً محدَّداً بعد تحديد النطاق. وإعادة الاختبار بعد المعالجة مشمولة.