امنیت اتوماسیون workflow هوش مصنوعی

یک workflow کسب‌وکاری را می‌سنجد که در آن یک مدل هوش مصنوعی داده می‌خواند، تصمیمی می‌گیرد یا به آن شکل می‌دهد و از راه connectorها و ابزارها اقدامی را راه می‌اندازد. دنبال ضعف در مسیرهای داده‌ی بلعیده‌شده، مجوزدهی ابزار و connector، triggerها و منطق تصمیم خودکار می‌گردد؛ بر پایه‌ی راهنمای OWASP AI Testing Guide و فهرست OWASP Top 10 for LLM Applications، و هر یافته اثبات و رتبه‌بندی می‌شود.

تزریق پرامپت غیرمستقیم دستوری پنهان است که به‌جای آن‌که کاربر تایپش کند، درون محتوایی جای می‌گیرد که workflow می‌خواند: یک سند، یک ایمیل، یک تیکت، یک webhook. چون workflow از منابع بسیاری داده می‌بلعد و سپس رویش اقدام می‌کند، دستوری که در آن داده پنهان شده می‌تواند اتوماسیون را به کاری براند که هرگز برایش در نظر نبوده است. برای فرآیندهای خودکار، همین مسیرِ تزریق از همه مهم‌تر است.

اختیار بیش از حد یعنی اتوماسیون بتواند اقدام‌هایی انجام دهد یا به سامانه‌هایی برسد که کارش واقعاً به آن‌ها نیاز ندارد؛ هویتی با مجوزهای پهناور، یا connectorی که جایی که تنها باید بخواند، می‌تواند بنویسد. همین، یک تصمیم بد را به دامنه‌ی آسیب بزرگ بدل می‌کند، پس بررسی می‌کنیم که هر ابزار و connector تا حد کار محدود شده باشد.

در حالت مطلوب، توصیفی از workflow و triggerهایش، دسترسی برای اجرای سرتاسری آن، فهرست ابزارها و connectorهایی که می‌تواند صدا بزند همراه با مجوزهای در نظر گرفته‌شده‌شان، و نمونه ورودی‌ها. با تعریف workflow و پیکربندی connectorها (یک نمای white-box) بسیار بیشتر از حالتی که از بیرون کاوش کنیم پوشش می‌دهیم؛ عمق دسترسی را پیش از شروع با شما تعیین می‌کنیم.

هر سه. black-box فردی بیرونی و بی‌دانشِ درونی را تقلید می‌کند، white-box از تعریف workflow و پیکربندی connectorها کار می‌کند، و grey-box با دانش جزئی میان این دو می‌نشیند. برای workflowهای خودکار، نمای grey-box یا white-box معمولاً همان نقص‌های مجوزدهی و اختیار را می‌یابد که بیش از همه اهمیت دارند، پس تا جای ممکن آن را پیشنهاد می‌دهیم.

یک محیط staging که آینه‌ی production باشد امن‌ترین گزینه است، چون ارزیابی workflow اقدام‌های واقعی را از راه connectorها راه می‌اندازد و می‌تواند داده بسازد، تغییر دهد یا بفرستد. آنجا که ناگزیر روی production تست کنیم، نخست بر مرزهای غیرمخرب توافق می‌کنیم و در همان‌ها می‌مانیم. این را پیش از هر اقدام با شما تعیین می‌کنیم.

هر یافته با CVSS نمره می‌گیرد و در کنار اثر واقعی‌اش بر کسب‌وکار ارائه می‌شود، تا مسئله‌ای فنی و جالب اما کم‌پیامد با مسئله‌ای که یک اقدام بحرانی را به دست مهاجم می‌دهد اشتباه گرفته نشود. همین جفت‌کردن است که می‌گذارد به ترتیب درست رفع کنید.

بله. تست مجدد پس از رفع بخشی از کار است: تأیید می‌کنیم که هر رفع واقعاً مسئله را می‌بندد و مسیر تازه‌ای نگشوده است، و گزارش به‌روزرسانی می‌شود تا وضعیت رفع‌شده را بازتاب دهد.