كتب : دينا كمال
إنفيديا: أدوات جديدة لمنع خروج وكلاء الذكاء الاصطناعي عن السيطرة
أعلنت شركة إنفيديا، اليوم الاثنين، إتاحة أدوات أمان برمجية مخصصة لوكلاء الذكاء الاصطناعي.
وأكدت الشركة أن الأدوات الجديدة كانت ستمنع اختراق منصة هاغينغ فيس، وفق تقييمها.
وتأتي الخطوة بعد تعرض المنصة لهجوم من وكلاء ذكاء اصطناعي تابعين لـOpenAI.
وتحقق OpenAI وAnthropic حاليًا في حوادث اخترق خلالها وكلاؤهما مواقع وأنظمة تجارية وحكومية.
ويرى الرئيس التنفيذي لإنفيديا جينسن هوانغ أن خروج الوكلاء عن السيطرة يمثل مشكلة هندسية.
وتعتمد إحدى الأدوات الجديدة، التي تحمل اسم OpenShell، على ميزات عتادية لاحتواء الوكلاء.
كما تعمل إنفيديا مع Arm Holdings وإنتل لضمان تشغيل النظام على معالجاتهما.
وتطرح الشركة هذه الأدوات بالتعاون مع عشرات الشركاء، بينهم Anthropic.
وقال جاستن بويتانو إن أدوات الأمان الجديدة كانت ستمنع هجوم هاغينغ فيس.
وأضاف أن الشركة تطور الأدوات بشكل مفتوح، داعية المختبرات والمطورين للمشاركة في تطويرها.
ويستخدم النظام الآخر، Sentry، شريحة منفصلة لقطع اتصال أي وكيل مارق.
ويعمل النظام عند محاولة الوكيل الخروج من البيئة المخصصة له على المعالج.
وتستخدم أدوات إنفيديا معادلات رياضية لرصد محاولات الوكلاء تجاوز القيود الأمنية.
وقد يحاول الوكيل إنشاء وكلاء فرعيين للتحايل على أنظمة الحماية والوصول إلى أهدافه.
وأوضح علي غولشان أن التركيز ينصب على سلوك الوكلاء وقدرتهم على العمل بشكل مستقل.
وتستهدف الأدوات الجديدة تعزيز أمان وكلاء الذكاء الاصطناعي ومنع خروجهم عن السيطرة.