الأمن السيبراني · الذكاء الاصطناعي الآمن
حماية أنظمة الذكاء الاصطناعي وبياناتها
الذكاء الاصطناعي الآمن
تأتي أنظمة الذكاء الاصطناعي بمخاطر يجب إدارتها. فقد تتعرض البيانات الحساسة للكشف عبر الأوامر النصية، ويمكن التلاعب بالنماذج، وقد تكون المخرجات غير موثوقة. ويضع الذكاء الاصطناعي الآمن ضوابط لحماية أنظمتك وبياناتك طوال دورة حياة الذكاء الاصطناعي.
المخاطر
فهم المخاطر
تفتح معظم مشاريع الذكاء الاصطناعي مسارات جديدة للوصول إلى أنظمتك. وتحتاج الأوامر النصية، وبيانات التدريب، وواجهات النماذج، والأدوات المرتبطة بها جميعها إلى الحماية.
٠١
تسرّب البيانات
قد تخرج البيانات الحساسة المرسلة إلى نموذج، أو التي يعيدها النموذج، عن الحدود التي وضعتها.
٠٢
حقن الأوامر النصية وإساءة الاستخدام
يمكن للمهاجمين استخدام مدخلات مصمّمة بعناية لتجاوز التعليمات أو استخراج معلومات لا يُفترض أن يطّلعوا عليها.
٠٣
مخاطر النماذج وسلسلة التوريد
قد تحمل النماذج والمكتبات والإضافات من أطراف أخرى نقاط ضعف لم تكن ضمن خطتك.
٠٤
مخرجات دون تحقق
تتسبب المخرجات الخاطئة أو المتحيزة في ضرر عندما يتصرف الناس بناءً عليها دون تحقق.
نهجنا
ضوابط أمنية طوال دورة حياة الذكاء الاصطناعي
٠١
تقييم منظومة الذكاء الاصطناعي
نحصر أنظمة الذكاء الاصطناعي التي تستخدمها أو تخطط لاستخدامها، ونصنّف كلاً منها حسب مستوى المخاطر.
٠٢
تحصين البناء
نطبّق التحكم في الوصول، وإدارة البيانات السرية، والتسجيل، والتحقق من المدخلات عبر منظومة الذكاء الاصطناعي.
٠٣
الاختبار قبل الإطلاق
نختبر حقن الأوامر النصية، وكشف البيانات، والمخرجات الضارة، باستخدام أساليب معترف بها مثل OWASP Top 10 for LLM Applications.
٠٤
المراقبة أثناء التشغيل
نراقب سلوك النماذج وصلاحيات الوصول، ونستجيب للحوادث باستخدام دليل إجراءات مُختبر.
الخطوة التالية
هل تريد معرفة وضع الذكاء الاصطناعي لديك؟
ابدأ بتقييم جاهزية الذكاء الاصطناعي.