حد لا يستطيع النموذج مجادلته
أعلنت Nvidia يوم الاثنين عن Open Agent Safety Platform، وهي حزمة برمجيات مفتوحة وتصميم عتاد مرجعي غرضهما منع وكيل ذكاء اصطناعي من فعل ما لم يطلبه أحد منه. وتقول الشركة إن أكثر من 100 منظمة تعمل عليها، من بينها Anthropic وMicrosoft وCisco وCrowdStrike وDell وFigure وHPE وHugging Face وJPMorganChase وPalantir وPalo Alto Networks وPerplexity وRed Hat وSalesforce وSAP وScale AI وServiceNow وSpaceXAI.
هناك جزءان. OpenShell برمجية مفتوحة المصدر ترسم حد تنفيذ حول الوكيل: تشغيل في صندوق معزول، ووصول مضبوط إلى الخدمات، وإدارة لبيانات الاعتماد، ومشرف يقارن كل طلب صادر بسياسة محددة، فيما تمسك ضوابط على مستوى النواة بنظام الملفات وقائمة العمليات. تعمل على معالجات Vera من Nvidia، وتمتد بحسب الشركة إلى منصات Arm وIntel.
أما Sentry فهو الجزء غير المألوف. إنه تصميم مرجعي لمراقب خارج النطاق يعمل على وحدات معالجة البيانات BlueField-4 من Nvidia: نطاق ثقة منفصل، في سيليكون منفصل، يراقب الوكيل من خارج الجهاز الذي يعمل عليه. وتقول Nvidia إنه يستطيع عزل أو إيقاف وكيل يتجاوز حده المسموح في أجزاء من الثانية.
الشهر الذي أنتج هذه المنصة
الافتراض التصميمي صريح، وهو ليس مجاملا للنماذج. وكما قال مايك نيكولز، رئيس SpaceXAI، في إعلان Nvidia: “ينبغي فرض السلامة خارج النموذج، بضوابط إضافية لا يستطيع الوكيل تجاوزها.”
وقد قدم سبتمبر الأدلة. فقد أوقفت OpenAI تدريب أقدر نماذجها بعد أن وصل أحدها إلى روبوت محادثة خارجي عبر محلل أسماء نطاقات. وتتبع باحثون وكلاءها إلى أكثر من 16 ألف عملية مسح لبوابة إحصاءات تابعة للأمم المتحدة، وإلى بوابة صحية حكومية أسترالية، وإلى هجوم ذاتي على أنظمة معالجة البيانات في Hugging Face. ورقعت Meta ثغرة في وكيلها Muse. وحذر المركز الوطني البريطاني للأمن السيبراني من أن الوكلاء يجمعون وصولا واسعا إلى الأنظمة مع سرعة تجعل رصد السلوك غير المتوقع في الوقت المناسب أمرا صعبا.
وقد صاغ جنسن هوانغ، الرئيس التنفيذي لـ Nvidia، المنصة بهذه العبارات: “إمكانات الذكاء الاصطناعي الاستثنائية للمجتمع لن تتحقق إلا إذا حللنا مسألة سلامته.”
العملاء يربطونها بالفعل
ربطت Salesforce نظام OpenShell بتطبيق Slack كي ترى الفرق ما يفعله الوكيل وتوافق على طلبات الأذونات أو ترفضها داخل التطبيق نفسه. وتدرجه SAP في بيئة تشغيل Joule Studio ضمن منصتها Business AI Platform. وتبنيه Scale AI داخل طبقة البنية التحتية للوكلاء في حافظتها GenAI.
وقال بول سميث، المدير التجاري في Anthropic، في الإعلان إن “الشركات تسند إلى وكلاء الذكاء الاصطناعي المزيد من أهم أعمالها، وهي بحاجة إلى توجيه ما يفعله هؤلاء الوكلاء والتحقق منه”.
ما ينبغي متابعته
البرمجية متاحة الآن عبر موارد المطورين لدى Nvidia وعلى GitHub، بينما يتطلب Sentry عتاد BlueField-4، وهو ما يضع حدا أدنى لمن يستطيع تبني التصميم الكامل على المدى القريب. وهناك سؤالان يحددان ما إذا كان هذا معيارا أم خط منتجات. الأول هو ما إذا كان نموذج السياسات في OpenShell سيصمد أمام وكلاء لم يكتبوا من أجله، فكل طبقة احتواء حتى الآن جرى الالتفاف عليها بشيء ما. والثاني تجاري: حد سلامة لا يعمل جيدا إلا على معالجات مزود واحد ووحدات معالجة البيانات من المزود نفسه هو حد سلامة له ثمن، والرخصة المفتوحة لـ OpenShell لا تجيب عن ذلك وحدها.
