إطار NIST لإدارة مخاطر الذكاء الاصطناعي بعين المختبِر: سبع سمات للثقة، وسبع جبهات للاختبار

Valid & Reliable — الأساس الذي تقوم عليه بقية السمات: أن يؤدّي النظام المطلوب بدقّة وثبات، ويعمّم خارج ظروف تدريبه دون ضرر.

ما تختبره: عدم الدقّة، والهلوسة بثقة، وانهيار الأداء أمام مدخلات شاذّة أو خارج التوزيع، وفشل التعميم على لهجة أو سياق لم يُدرَّب عليه، وغياب «الفشل الآمن» عند تجاوز حدود المعرفة.

Safe — ألّا يعرّض النظام، في ظروف محدّدة، حياة الإنسان أو صحّته أو ممتلكاته أو البيئة للخطر.

ما تختبره: مخرجات تسهّل أذى جسيمًا، وتعليمات خطرة، وعجز عن الإيقاف أو التدخّل البشري. أولوية قصوى حين يكون الخطر إصابة أو وفاة.

Secure & Resilient — الصمود أمام الأحداث المعادية والعودة الآمنة بعدها، وحماية السرّية والسلامة والإتاحة.

ما تختبره: الأمثلة العدائية، وتسميم البيانات، واستخراج النموذج أو بيانات التدريب عبر نقاط النهاية، وحقن التعليمات.

Accountable & Transparent — سمة شاملة تمسّ كل ما سبق؛ فالمساءلة تفترض الشفافية: مدى إتاحة المعلومات عن النظام ومخرجاته لمن يتفاعل معه.

ما تختبره: غموض النظام وغياب الإفصاح، وعدم إعلام المستخدم بنتيجة ضارّة، وغياب مسار للإنصاف والطعن، وتعذّر تتبّع مصدر القرار.

Explainable & Interpretable — التفسير يوضّح آلية العمل («كيف»)، والتأويل يوضّح معنى المخرَج في سياقه («لماذا»).

ما تختبره: قرارات لا يمكن تبريرها، وتوصيات بلا سبب، ومخرجات غامضة يصعب على المستخدم فهمها أو الطعن فيها.

Privacy-Enhanced — صون استقلالية الإنسان وهويّته وكرامته: الحرية من التطفّل، والحدّ من المراقبة، والتحكّم في الإفصاح.

ما تختبره: الاستدلال على هويّة أفراد، وإعادة التعرّف من المخرجات، وتسريب البيانات الشخصية، وتجميع بيانات يكشف الهوية.

Fair with Harmful Bias Managed — معالجة التحيّز الضارّ والتمييز، مع الوعي بأن مفاهيم العدل تختلف بين الثقافات.

ما تختبره: التحيّز المنهجي والإحصائي والإدراكي، والتمييز ضد فئات، وعدم إتاحة الوصول لذوي الإعاقة، وتفاقم تفاوتات قائمة. وهذه جبهة العين العربية بامتياز.

وظيفة شاملة تتخلّل الثلاث الأخرى: ثقافة إدارة المخاطر، والأدوار، والسياسات.

• G1 سياسات إدارة المخاطر: المتطلبات القانونية، ودمج سمات الثقة، وتحمّل المخاطر، وجرد الأنظمة، والإيقاف الآمن.
• G2 هياكل المساءلة: الأدوار، والتدريب، ومسؤولية القيادة.
• G3 تنوّع الفرق ووضوح أدوار الإشراف البشري.
• G4 ثقافة السلامة أولًا، ومنها تمكين اختبار الأنظمة وتحديد الحوادث وتبادل المعلومات.
• G5 إشراك أصحاب المصلحة.
• G6 مخاطر الطرف الثالث والموردين.

تأسيس السياق وتحديد المخاطر؛ أساس قرار «المضيّ أو عدمه».

• M1 السياق: الأغراض، والقوانين، والفريق، وتحمّل المخاطر.
• M2 تصنيف النظام: المهام، وحدود المعرفة، والإشراف البشري.
• M3 القدرات والمنافع والتكاليف، والإشراف البشري.
• M4 مخاطر كل المكوّنات، بما فيها بيانات الطرف الثالث وبرمجياته.
• M5 توصيف الآثار: الاحتمال × الحجم، مع إشراك أصحاب المصلحة.

تحليل المخاطر وتقييمها ومراقبتها بأدوات كمّية ونوعية. هذا بيتك.

• E1 اختيار الطرق والمقاييس، وإشراك مقيّمين مستقلّين.
• E2 التقييم لسمات الثقة، بندًا بندًا (الجدول أدناه).
• E3 تتبّع المخاطر عبر الزمن، وآليات الشكوى والطعن.
• E4 تقييم فعّالية القياس نفسه.

تخصيص الموارد للمخاطر المرسَّمة والمقاسة، والاستجابة، والتعافي، والإبلاغ.

• N1 ترتيب المخاطر والاستجابة، وتوثيق المخاطر المتبقّية.
• N2 تعظيم المنفعة وتقليل الضرر، وآلية الإيقاف أو التعطيل.
• N3 مراقبة موارد الطرف الثالث.
• N4 مراقبة ما بعد النشر، وإبلاغ المتضرّرين بالحوادث.

• معرّف فريد، والتاريخ.
• اسم النموذج وإصداره.
• البيئة: تطوير أو تجريبية أو إنتاج.
• المختبِر أو الفريق، ونسخة السياسات المطبّقة.

• نص الأمر.
• نوع الخطر: خصوصية، أو تحيّز، أو أمن، أو سلامة، أو تضليل.
• الهدف من الاختبار، والسلوك المتوقّع، والردّ الفعلي.

• الحالة: نجاح أو فشل أو يحتاج مراجعة.
• درجة من 0 إلى 5.
• الخطورة: منخفضة أو متوسطة أو عالية أو حرجة.
• الاحتمال، وحجم الأثر، وهل الضرر مباشر أم قابل لإساءة الاستخدام.

• الوظيفة في NIST، وسمة الثقة المعنية.
• ملاحظات المختبِر، وسبب النجاح أو الفشل.
• التوصيات، ومالك الإجراء التصحيحي، وتاريخ مستهدف، وحالة المعالجة.