أوراق قبل جولة التدريب
نشرت أوبن إيه آي يوم الأحد مجموعة إرشادات لما ترى أنه يجب توثيقه قبل السماح باستمرار جولة تدريب متقدمة بالتعلّم المعزّز. والصياغة حاسمة: «نعتقد أننا ندخل عصراً جديداً ينبغي فيه اشتراط توثيق أمني منظّم قبل مواصلة أي جولة تدريب متقدمة بالتعلّم المعزّز».
النموذج المستعار هو «ملف السلامة»: الحجة المنظّمة القائمة على الأدلة بشأن المخاطر، والمستخدمة في الطيران والطاقة النووية. وتصفه الشركة بأنه «نجم قطبي نطمح إليه ونبني نحوه»، وتقر بأن القياس ناقص بسبب «التعقيد الناشئ عند كل مستوى جديد من قدرات الذكاء الاصطناعي».
ثلاث طبقات تقنية وقاعدة واحدة عن سلاسل التفكير
يغطي النصف التقني من الوثيقة تدريب الاتساق والاحتواء والمراقبة: درّب النموذج ألا يتصرف خلافاً للمقصود، واجعل الخروج صعباً إن فعل، واكشفه إن حاول.
في الاتساق، تقترح أوبن إيه آي استخدام وكلاء للعثور على بيئات التعلّم المعزّز المعطوبة وإصلاحها، حيث قد تنال الحيلة درجة عالية، وضبط المصححين لمعاقبة الاستغلال، واختبار تقييمات الاتساق بأثر رجعي على حوادث سابقة كي لا تكون مجرد مفصّلة عليها. وتقترح أيضاً تتبّع ما إذا كان النموذج يدرك أنه يخضع للاختبار، مع «عتبات حجب محددة».
سطر واحد بالغ التحديد: لا تدع المصححين الآليين يرون سلسلة التفكير أثناء التعلّم المعزّز، لأن ذلك يخاطر بأن «تتطور النماذج للإفلات من مراقبي سلسلة التفكير». وهو قرار متعمّد بالتنازل عن قدرة للحفاظ على قابلية قراءة استدلال النموذج.
ويشمل الاحتواء صناديق رمل مُحصَّنة، واختبارات اختراق لها انطلاقاً من نقاط تفتيش لجولات تدريب فعلية، وإغلاق القنوات الجانبية عالية السعة بين العينات، وحفظ نصوص الوكلاء في تخزين لا يُكتب إلا مرة واحدة كي لا يتسنى تعديل أي تحقيق لاحقاً. وتتطلب المراقبة قدرة عالية على التقاط الحوادث السابقة، وبيانات تقييم حديثة كي لا تتقادم الأرقام، وقاعدة استجابة: تنبيه المناوب نهاراً، وإيقاف الجولات تلقائياً عند تنبيهات غير مستجاب لها ليلاً.
من يملك إيقاف الجولة
النصف التشغيلي هو موضع الحوكمة. تقول أوبن إيه آي إنه بعد صياغة ملف السلامة ينبغي أن يكتب شخص من فريق آخر رأياً مخالفاً — تشريحاً مسبقاً — بحثاً عن ثغراته. وينبغي أن يوافق على الملف قياديون «يملك كل منهم القدرة على نقض الجولة»: مسؤول أو نائب رئيس للبحث، ومسؤول السلامة، وكبير العلماء.
وتذهب أبعد في المساءلة: ينبغي أن يكون القيادي المسؤول عن جولة التدريب مسؤولاً عن ملف السلامة وعن أي استجابة للحوادث، «بما في ذلك ضمن تقييمات الأداء». وينبغي أن يمر التصعيد عبر مستويات خطورة محددة، مع مناوب يستطيع استدعاء التنفيذيين — وتذكر الوثيقة الرئيس التنفيذي — متى بلغت الجولة درجة معينة. وينبغي أن تفشل ميزات الأمان في وضع مغلق: ألا يمكن بدء جولة من دون تفعيل المراقبة، ولا تعطيل المراقب من داخل الجولة نفسها.
وتقول الوثيقة إن المدققين ينبغي أن يحصلوا على وصول كافٍ للتحقق من متانة الادعاءات.
ما هي هذه الوثيقة وما ليست
تقول أوبن إيه آي إن التوصيات «قيد التنفيذ» داخلياً، وإن ممارساتها ستواصل التطور «في الأسابيع المقبلة». ولا شيء من ذلك التزام تجاه طرف خارجي، ولا تُذكَر أي جهة تنظيمية بالاسم.
والسياق لا يمكن تجاهله: صدرت الوثيقة قبل يوم من تأكيد أوبن إيه آي أنها لن تطلق GPT-6.1 أسترا، وقبل يوم من تسميتها أربع جهات حكومية أسترالية بلغتها نماذجها أثناء التدريب الداخلي. وما ينبغي متابعته هو ما إذا كان أي من ذلك سيصبح قابلاً للتدقيق من جهة لا تعمل داخل أوبن إيه آي.
