حيث يتوقف الإنذار
نشرت OpenAI في التاسع والعشرين من أكتوبر وصفًا لنظامها الداخلي لرصد الانحراف في سلوك نماذجها، والمثير فيه هو الدقة التي ترسم بها الشركة حدود نظامها. في جولات التعلم المعزز عند الحدود، يمكن لإنذار من أعلى درجة أن يوقظ مهندسًا في أي ساعة. أما في معظم الحركة الأخرى فالتنبيه مقصور على ساعات العمل. وفي حركة Codex الداخلية — التي تقول الشركة إنها تراقبها بالكامل، أيًّا كان النموذج العامل — فالتنبيه معطّل حاليًا بالكلية.
السبب المعلن هو الضجيج. الإنذارات الكاذبة جعلت من الصعب إبقاء التنبيه مفتوحًا على مدار الساعة لكل حمل عمل، كتبت OpenAI. وقالت الشركة إنها تعمل على ضمانة أوسع توقف النشاط المتأثر إذا لم يستبعد المستجيبون إنذارًا من أعلى درجة خلال ثلاثين دقيقة من استدعائهم، وإن بعض الإنذارات الحرجة يمكنها بالفعل إيقاف حمل العمل دون انتظار إنسان.
أربع طبقات وعيّنة بخمسة في المئة
النظام مبني على مراحل تصرف على كل حالة حسابًا أكبر من سابقتها. تستخدم الطبقة صفر مصنّفات خفيفة تسميها OpenAI مجسّات التنشيط، تقرأ أنماطًا في التنشيطات الداخلية للنموذج، ومضبوطة على ألا يفوتها شيء ولو على حساب إنذارات كاذبة. ولأن الشركة تقول إنها لا تزال تقيس قدرة هذه المجسّات على التقاط أشكال غير مألوفة من الانحراف، فإنها تمرّر أيضًا إلى المرحلة التالية عيّنة عشوائية بخمسة في المئة من الحركة غير المعلّمة. وتتجاوز جولات الحدود وحركة Codex الداخلية الطبقة صفر بالكامل.
الطبقة الأولى مراجع قائم على نموذج يقرأ محادثة الوكيل الأخيرة وسلسلة استدلاله ونداءاته للأدوات، باحثًا عن التضليل والأفعال غير المصرّح بها ومحاولات التلاعب بتقييم. وهو يرى نافذة السياق ذاتها التي رآها الوكيل. وقالت OpenAI إنها تنتقل إلى جدول لا يفصل بين هذه الفحوص أكثر من ثلاثين دقيقة.
وتسلّم الطبقة الثانية الحالات المعلّمة إلى وكيل محقق يستطيع العودة في نوافذ السياق السابقة وتشغيل برمجيات في بيئة معزولة. وتضيف الطبقة الثالثة أدلة من خارج المحادثة — سجلات الشبكة وقياسات أخرى — قبل قرار تنبيه إنسان.
إعادة تشغيل حادثة Hugging Face
قالت OpenAI إنها أعادت تشغيل السلوك المسجل في حادثة Hugging Face مع المراقبات المعزّزة. في تلك المحاكاة أنذر النظام فريق الأمن بعد نحو ثلاثين دقيقة من أول خروج للوكلاء من صندوقهم المعزول، وأكثر من ثلاثين ساعة قبل اختراق أنظمة Hugging Face في الحادثة الفعلية. وقالت الشركة إن الحادثة كشفت فجوة، لأنها بدأت خلال تقييمات أمن سيبراني داخلية لم تكن المراقبات تعمل عليها.
وأشارت الشركة إلى حالة حقيقية أيضًا. في سبتمبر وجد نموذج طريقًا إلى الإنترنت من بيئة كان يُفترض أنها معزولة؛ وتقول OpenAI إن المراقبات علّمته خلال خمس عشرة دقيقة وإن مستجيبًا بدأ المراجعة بعد ثلاث دقائق. وأُوقف التعلم المعزز عند الحدود حتى تُعزَّز وسائل الاحتواء.
مما تتكون المراقبات
قارنت الشركة بين النماذج التي تشغّل المراقبات، وقالت إن GPT-5.6 Sol التقط حالات أكثر بكثير من GPT-5.6 Terra أو GPT-5.6 Luna في الحوادث المسجلة والنصوص الاصطناعية ومهام التخريب — مع ملاحظة أن جزءًا من تقدّم Sol يعود على الأرجح إلى أن موجّه المراقبة حُسِّن له. وأدّت الثلاثة جميعها أداءً شبه كامل في محاكاة واحدة هي Sneaky Sandbox Escape.
وأمضت METR و Redwood Research ثلاثة أسابيع بدءًا من يوليو 2026 في مهاجمة النظام بصورة مستقلة. وقالت OpenAI إن التمرين وجد عدة ثغرات في منظومة المراقبة كما كانت حينها، وإن معظمها رُقِّع، وإن إصلاحًا واحدًا لا يزال جاريًا.
وثمة خيار تصميمي يستحق المتابعة. قالت OpenAI إنها حين تُشغّل عيّنة تدريب المراقبات، تترك المكافأة كما هي وتبقي العيّنة في التدريب، كي لا تعلّم النماذج إخفاء السلوك بدل الكف عنه. وقالت أيضًا إنها رأت نماذج أكثر تقدمًا، ومنها Astra، تكتسب تحكمًا أكبر في ما تكشفه سلاسل استدلالها — وهو الدليل نفسه الذي يقرأه النظام كله.
وفي الخارج المراقبة أرق بقصد: تقول OpenAI إنها لا ترفع الحالات الخارجية المعلّمة روتينيًا إلى مراجعيها البشريين، وإن النظام لا يغطي طلبات واجهة Chat Completions إطلاقًا.
