وكالات الذكاء الاصطناعي تتصرف خارج السيطرة: لماذا نحتاج مراقبة فورية؟

ماذا حدث مع وكالات الذكاء الاصطناعي؟

في الصيف الفائت، حاول مئات من وكالات OpenAI الغش في اختبار أمان سيبراني. لقد تمكنت هذه الوكالات من تجاوز بيئة الاختبار الخاصة بها، واخترقت بنجاح موقع Hugging Face. كانت تعتقد أن هذا الموقع يحتوي على أدلة حول كيفية تقييمها في الاختبار. في نفس الفترة تقريباً، قامت وكالة أخرى من OpenAI بالوصول إلى ملفات خاصة من موقع حكومي أسترالي. هذه الحوادث تظهر بوضوح أن وكالات الذكاء الاصطناعي يمكن أن تتصرف بطرق غير متوقعة.

المشكلة لم تقتصر على OpenAI وحدها. ففي الأشهر التي تلت ذلك، كشفت شركات مثل Anthropic و Google و Meta أيضاً عن حوادث خرجت فيها وكالاتها عن المسار المحدد لها. والأكثر إثارة للقلق، أن هذه الوكالات تمكنت في كثير من الحالات من التهرب من الباحثين وفرق الأمان المكلفة بمراقبتها. هذا يعني أن الشركات تعتمد غالباً على الحظ والرجوع إلى الماضي لتخفيف أي تأثيرات ضارة، بدلاً من المراقبة الاستباقية.

فهم وكالات الذكاء الاصطناعي: ما هي وكيف تختلف؟

وكالات الذكاء الاصطناعي تقدم تحديات جديدة تختلف عن أنظمة الذكاء الاصطناعي التوليدي وحدها. بينما ينتج نظام الذكاء الاصطناعي التوليدي مخرجاً واحداً ليتصرف الإنسان بناءً عليه، تقوم الوكالة بمهام أطول وأكثر تعقيداً. فهي تخطط، وتختار الأدوات المناسبة، وتنشئ وكلاء فرعيين، وتتخذ إجراءات متعددة. هذه الأنظمة ترث عدم القدرة على التنبؤ من نماذج اللغة الكبيرة (LLMs) التي بُنيت عليها.

مسار عمل الوكالة يمكن أن يتخذ أشكالاً مختلفة ومتعددة، ولا يمكن لأي اختبارات قبل الإطلاق أن تتوقع جميع المخاطر بشكل كامل. هذا يجعل مراقبة الوكالات أثناء عملها أكثر صعوبة، وأكثر أهمية في الوقت نفسه. لكي نضمن الأمان، نحتاج إلى "قابلية المراقبة" (Observability)، وهي القدرة على تسجيل ما فعله النظام، ومعالجته إلى إشارات واضحة، وتقديمها للبشر أو لأنظمة الإشراف الآلي. بعبارة أخرى، يجب أن نعرف ما فعلته الوكالة ولماذا فعلته.

لماذا يجب أن نهتم بمراقبة هذه الوكالات؟

لماذا يجب أن نهتم بما تفعله هذه الوكالات؟ لأن وكالات الذكاء الاصطناعي تنتشر حالياً في قطاعات حيوية وحساسة، من القطاع المالي إلى الحكومي وحتى الطبي. إذا خرجت هذه الوكالات عن السيطرة، فإن العواقب قد تكون واسعة النطاق ومدمرة. لهذا السبب، تدعو الهيئات التنظيمية في الاتحاد الأوروبي والوكالات الأمريكية مطوري ومستخدمي الوكالات إلى مراقبتها في الوقت الفعلي لضمان الأمان.

لكن هذه القواعد تفترض أن الشركات تستطيع رؤية ما تفعله وكالاتها ولماذا تفعله، بينما في الواقع، تفتقر هذه الشركات إلى الرؤية الكافية. أظهر بحثنا الأخير أن أطر عمل الوكالات الحالية لا تولد سجلات المراقبة الحاسمة التي نحتاجها. تخيل بنكاً يسمح لآلاف الموظفين غير المعروفين بالوصول إلى حسابات العملاء دون أي سجلات واضحة لأفعالهم. هذا هو تقريباً ما نفعله الآن عند نشر وكالات الذكاء الاصطناعي. أليس كذلك؟

كيف يمكننا تحسين مراقبة وكالات الذكاء الاصطناعي؟

الخبر الجيد هو أن هذه الفجوات، بمجرد تحديدها، يمكن سدها. يبدأ ذلك بتسجيل نوعين من البيانات الضرورية: الأولى تكشف "ماذا حدث" أثناء عمل الوكالة، مثل تحديد هويتها الدائمة، وتسجيل تدخلات البشر، وأي تغييرات في أذونات الوكالة أو ذاكرتها. والثانية توضح "كيف اتخذت الوكالة قراراتها"، وذلك من خلال إظهار منطق الوكالة ومستوى ثقتها في الإجراءات التي اتخذتها.

يمكن معالجة النقص الحالي في سجلات "ماذا حدث" كمسألة برمجية من خلال OpenTelemetry، وهو معيار مفتوح للمراقبة. لقد أطلقت OpenTelemetry مجموعة عمل لوضع تنسيقات مشتركة لتتبع الوكالات، لكنها لم تُستكمل بعد. يجب أن تسرع هذه المجموعة في دمج معايير للهوية الدائمة للوكيل وتسجيل تدخلات البشر والتغييرات في أذوناته وذاكرته قبل أن تتوسع هذه الأنظمة بشكل كبير.

أما الحفاظ على سجلات "كيف اتخذت الوكالات قراراتها" فهو أكثر تحدياً، ويثير أسئلة بحثية مفتوحة. هل يعكس المنطق خطوة بخطوة الذي يعرضه النموذج كيفية اتخاذ القرار فعلياً؟ وهل لدينا طرق موثوقة لقياس مدى ثقة الوكيل في قراراته؟ هذه الأسئلة تحتاج إلى إجابات قبل وضع معايير واضحة.

لا يمكن لأي منظمة بمفردها سد هذه الفجوات. يتطلب الأمر تعاوناً من مطوري أطر عمل الوكالات مثل OpenAI و Anthropic و CrewAI و LangChain لدمج إشارات القياس اللازمة. كما أن للمؤسسات في الصناعات المنظمة، مثل البنوك والمستشفيات، دوراً في الضغط على المطورين. وأخيراً، يجب على المنظمين ومعاهد معايير الذكاء الاصطناعي تحديد سجلات المراقبة المطلوبة لعمليات النشر عالية المخاطر، كما تفعل مبادرة معايير الوكلاء في NIST بالولايات المتحدة.