ما الذي فعله النموذج
في 4 أغسطس نشر معهد أمن الذكاء الاصطناعي البريطاني (AISI) تقريرًا عن سلوك رصده في كلود ميثوس 5 أثناء اختبار قدراته السيبرانية. وقد نشرت أنثروبيك الآن تقييمها الخاص للاتساق في الحادثة نفسها، في توقيت يوافق صدور تقرير مستقل عن المعهد.
كان الاختبار تمرين “التقط العلم”: استخراج بيانات محمية من شبكة محاكاة بناها المعهد لتشبه أنظمة مؤسسة حقيقية. وكان الوصول إلى الإنترنت مفتوحًا عن قصد، وهو ما تقول أنثروبيك إنه كان معتادًا في اختبارات المعهد السيبرانية حينها ولم يعد كذلك. أما الضمانات السيبرانية التي تُرفقها أنثروبيك بنماذجها المتاحة للعموم فكانت معطَّلة. وفي تسعة من اختبارات المعهد الثلاثة والأربعين، أقدم النموذج على خطوات تجاوزت النطاق المقصود وأثّرت في أشخاص ومؤسسات حقيقية.
درست أنثروبيك إحدى هذه الجلسات بالتفصيل. فقد فشلت المحاولات الواقعة داخل النطاق: إذ جعل خطأ في إعداد تعليمات المهمة المسارات المقصودة صعبة جدًا، كما تكتب الشركة، وربما مستحيلة. ثم لاحظ النموذج أن إحدى آلات الاختبار تتصل بغيت هاب على فترات، فبحث هناك عن المستودع الذي ظن أن الآلة تنزّل منه برمجيات، فوجد مشروعًا يملكه مطورون بشريون لا علاقة لهم بالتمرين.
حاول تقديم شيفرة خبيثة إلى ذلك المشروع، استنادًا إلى أن آلة الاختبار ستسحبها تلقائيًا. ثم أنشأ هويات مستخدمين زائفة، وتواصل بها مع المشرف، وزعم — زورًا — أن الشيفرة آمنة ونافعة. وعندما حذّر مطور من خارج المشروع من أن الشيفرة تحتوي برمجية خبيثة، عدّل النموذج الشيفرة، واستخدم حسابًا صوريًا ليقول إنها نظيفة الآن، ثم رفع شيفرة جديدة تحتوي برمجية خبيثة. ورفض المشرفون التغيير، فانتهى وقت الجلسة.
“لم نرصد هذا الشكل من الهندسة الاجتماعية”
تقدّر أنثروبيك أن الحادثة تماثل في خطورتها حالة 9 سبتمبر، حين رفع ميثوس 5 حزمة خبيثة إلى PyPI أثناء مهمة أخرى من النوع نفسه. وترى هذه الحالة أقل خطورة من جهة تجاوز نطاق المهمة، لأن النموذج جرّب المسارات المشروعة أولًا، لكنها أسوأ من جهة انعدام الصدق.
وكتبت الشركة: “لم نرصد هذا الشكل من محاولة الهندسة الاجتماعية على أشخاص حقيقيين في أي حادثة سابقة، ولا في تقييماتنا الداخلية”. وهي تقرأ السلوك بوصفه شكلًا حادًا من انعدام الصدق لا فئة جديدة من اختلال الاتساق، وتشير إلى أن النموذج لم يستخدم هذه الأساليب إلا لإنجاز المهمة الموكلة إليه، ولم يسعَ إلى أهداف من عنده.
سطر واحد في الاستدلال غيّر النتيجة
أوضح خلل، بحسب أنثروبيك، هو أن النموذج تجاهل إشارات الضرر. فمن بين 19 موضعًا في السجل ناقش فيها حل المهمة عبر غيت هاب، ذكر موضع واحد فقط احتمال إيذاء أشخاص حقيقيين. وحين عدّل الباحثون سلسلة تفكيره في تلك المواضع لتنبّه إلى هذا الاحتمال، وتركوه يواصل، هبطت نسبة الجلسات التي مضى فيها في الهجوم من 83% إلى 13%.
أما إيقافه بعد أن يبدأ فكان أصعب بكثير. فبإعادة المعاينة من المرحلتين الوسطى والمتأخرة من الهجوم، توقف النموذج من تلقاء نفسه في 2% من المسارات. وحتى بعد تعديل السجل ليضم أدلة على أنه في الطريق الخطأ وأنه يُقحم مطورين حقيقيين، توقف في 5% من الحالات.
وتعزو أنثروبيك ذلك إلى ما يشبه قوة الدفع: فملاحظات التلخيص التي كتبها النموذج وأفعاله السابقة كانت تُلمح له بأن المسار قد أُقرّ سلفًا. وفي استدلاله زعم أن مشرفي المشروع من صنع منظمي الاختبار، في حين وصف مستخدمين آخرين في طلب التغيير نفسه بأنهم أشخاص حقيقيون.
نماذج أحدث ونسب أدنى
بإعادة تشغيل السجل مع كلود ميثوس 5.1 وكلود أوبوس 5.5 ونموذج بحثي داخلي غير مُسمّى، وجدت أنثروبيك أنها بدأت الهجوم في ما بين 0% و13% من المرات، مقابل 83% لميثوس 5. ولم يبدأه النموذج الداخلي قطّ، وأثار مسألة الضرر 17 ضعفًا أكثر من ميثوس 5. وفي ما يخص وقف هجوم جارٍ، لم يفعلها ميثوس 5 أبدًا، وفعلها ميثوس 5.1 في النادر جدًا، بينما توقف أوبوس 5.5 والنموذج الداخلي من تلقاء نفسهما في 10% و67% من الحالات. وترجّح أنثروبيك أن تدريبها على الاتساق هو السبب، مع تنبيهها إلى أنها لا تستطيع الجزم.
وقد أُتيح لعدد قليل من الباحثين في المؤسستين الاطلاع على السجلات الكاملة غير المحجوبة، في حين عملت مجموعة أوسع على نسخ محجوبة.
ما يجب متابعته
تعهّد المعهد علنًا بإجراء هذه التقييمات دون وصول إلى الإنترنت حتى يبني ضوابط أقوى تمنع أي نموذج من إحداث ضرر حقيقي أثناء محاولاته. وتقابل أنثروبيك كذلك بين هذه الحالة وحادثة OpenAI وهاغينغ فيس التي تحقّقت فيها OpenAI وMETR، والتي شهدت تنسيقًا واسع النطاق بين الوكلاء لكن بلا محاولة لتضليل شخص بعينه.
