بازبینی امنیت خط لوله ML
بازبینی امنیت خطوط لوله یادگیری ماشین شامل مدیریت داده، استقرار مدل و امنیت inference
بازبینی امنیت خط لوله ML ما چرخه‌ی عمر یادگیری ماشین را سرتاسر بررسی می‌کند؛ از داده‌ای که مدل را آموزش می‌دهد، تا registryای که مدل را نگه می‌دارد، تا endpointی که آن را سرو می‌کند. این خط لوله یک زنجیره‌ی تأمین نرم‌افزاری با حالت‌های شکست ویژه‌ی خودش است: داده‌ای که پیش از آموزش می‌تواند مسموم شود، artifactهای مدل که می‌توانند دستکاری یا ناامن بارگذاری شوند، داده‌ی آموزشی که می‌توان از راه مدل بازیابی‌اش کرد، و endpointهای inference که می‌توان برای استخراج مدل یا از پا انداختنش سوءاستفاده کرد. مدیریت و منشأ داده، یکپارچگی artifact در سراسر registry، رازهای درون notebookها و CI، کنترل دسترسی روی feature store و model registry، و احراز هویت، مجوزدهی و محدودیت نرخ روی endpoint inference را بازبینی می‌کنیم. مبنای کار، راهنمای OWASP AI Testing Guide، چارچوب مدیریت ریسک هوش مصنوعی NIST و MITRE ATLAS است. هر یافته در کنار اثر واقعی‌اش با CVSS رتبه می‌گیرد و با یک رفع مشخص نوشته می‌شود.
چه چیزی شامل می‌شود
دریافت و منشأ داده: این‌که داده‌ی آموزشی از کجا می‌آید و آیا پیش از آموزش می‌توان مسمومش کرد یا دستکاری
حریم خصوصی داده‌ی آموزشی: استنتاج عضویت و بازسازی داده از راه مدل
یکپارچگی artifact مدل: امضا، منشأ و تشخیص دستکاری در سراسر registry
بارگذاری ناامن مدل: خطرهای deserialization در قالب‌های مدلی که هنگام بارگذاری کد اجرا می‌کنند
زنجیره‌ی تأمین مدل‌ها و وابستگی‌هایی که به درون خط لوله کشیده می‌شوند
نگه‌داری راز و اعتبارنامه در notebookها، jobها و گام‌های CI/CD
کنترل دسترسی روی feature store، model registry و artifact store
امنیت endpoint inference: احراز هویت، مجوزدهی و اعتبارسنجی ورودی
استخراج مدل و سرقت مدل از راه endpoint inference
مصرف بی‌حدومرز: محدودیت نرخ و منع سرویس روی inference
ثبت گزارش، پایش و تشخیص drift برای مدل سرو‌شده
چگونه کار می‌کند
- خلاصه‌ی اجرایی با نمای کلی ریسک برای تصمیم‌گیرندگان
- گزارش فنی تفصیلی، هر یافته تکرارپذیر
- یافته‌های مسموم‌سازی داده، منشأ و حریم خصوصی داده‌ی آموزشی
- یافته‌های یکپارچگی artifact، بارگذاری ناامن و کنترل دسترسی registry
- یافته‌های زنجیره‌ی تأمین برای مدل‌ها و وابستگی‌ها
- یافته‌های endpoint inference، استخراج مدل و محدودیت نرخ
- نگاشت یافته‌ها به OWASP AI Testing Guide و MITRE ATLAS، همراه با CVSS و اثر کسب‌وکار
- راهنمای رفع اولویت‌دار و تست مجدد پس از رفع
چرا وادی ایمن حافظ
سوالات متداول
چرخه‌ی عمر یادگیری ماشین را برای ضعف‌های امنیتی بازبینی می‌کند: مدیریت و منشأ داده، حریم خصوصی داده‌ی آموزشی، یکپارچگی artifact مدل، registry و feature store، زنجیره‌ی تأمین مدل‌ها و وابستگی‌ها، و endpoint inference. بر پایه‌ی راهنمای OWASP AI Testing Guide، چارچوب NIST AI RMF و MITRE ATLAS، و هر یافته اثبات و رتبه‌بندی می‌شود.
مسموم‌سازی داده یعنی دستکاری داده‌ی آموزشی تا مدلِ حاصل به شیوه‌ای که مهاجم برگزیده رفتار کند؛ دسته‌بندی نادرست برخی ورودی‌ها، یا حمل یک درِ پشتیِ پنهان. چون پیش از آموزش رخ می‌دهد، در مدل سرو‌شده نامرئی است مگر آن‌که بتوان منشأ داده را ردیابی کرد، و به همین دلیل مسیر دریافت را می‌آزماییم، نه فقط endpoint را.
استخراج مدل یعنی بازساختِ کپیِ نزدیکی از مدل شما، یا بازیابی پارامترها و رفتارش، با پرس‌وجوی به‌اندازه‌ی کافیِ endpoint inference. این کار دارایی فکریِ نهفته در مدل را تهدید می‌کند و می‌تواند داده‌ی آموزشی را فاش کند. می‌آزماییم که آیا احراز هویت و محدودیت نرخِ endpoint آن را عملی می‌کند.
به عمق توافق‌شده بستگی دارد. یک بازبینی white-box از تعریف خط لوله، پیکربندی registry و feature store، کد آموزش و سرو، و دسترسی به یک محیط نماینده کار می‌کند. یک بازبینی black-box تنها از endpoint inference کار می‌کند. بیشترِ یافته‌های پرپیامدِ خط لوله دست‌کم به یک نمای grey-box نیاز دارند، پس تا جای ممکن به‌اشتراک‌گذاری پیکربندی را پیشنهاد می‌دهیم.
محیط staging که آینه‌ی production باشد ترجیح دارد، تا آزمودن مسیر دریافت، registry و endpoint نتواند اجرای زنده‌ی آموزش یا ترافیک سرو‌شده را برهم بزند. آنجا که روی production تست کنیم، نخست بر مرزهای غیرمخرب توافق می‌کنیم، به‌ویژه پیرامون مسیر داده.
ارزیابی مدل LLM بر رفتار یک مدلِ تنها تمرکز دارد؛ prompt injection، استخراج، مقاومت در برابر ورودی مخرب. بازبینی خط لوله بر سامانه‌ای تمرکز دارد که مدل‌ها را می‌سازد و سرو می‌کند: داده، registry، زنجیره‌ی تأمین و استقرار. این دو مکمل یکدیگرند و برای تیمی که مدل‌های خودش را اجرا می‌کند، هر دو با هم تصویر کامل‌تری می‌دهند.
هر یافته با CVSS نمره می‌گیرد و در کنار اثر واقعی‌اش بر کسب‌وکار ارائه می‌شود؛ افشای داده، سرقت مدل، یا رسیدن یک مدل مسموم به production، تا بتوانید به ترتیبی رفع کنید که بیشترین ریسک را زودتر کم می‌کند.
بله. تست مجدد پس از رفع بخشی از کار است: تأیید می‌کنیم که هر رفع مسئله را می‌بندد بی‌آن‌که مسئله‌ی تازه‌ای بگشاید، و گزارش به‌روزرسانی می‌شود تا وضعیت رفع‌شده را بازتاب دهد.
سرویس‌های مرتبط
خدمات تکمیلی که ممکن است برای شما مفید باشند