Una política, no una precaución
OpenAI ha publicado un relato de cómo asegura los entornos que usa para entrenar y evaluar modelos de frontera, y el compromiso principal es tajante. “Según el estado actual de la investigación en alineamiento, los sistemas de monitorización y la seguridad de la infraestructura de internet, creemos que el enfoque responsable es entrenar modelos de frontera sin acceso a internet”, escribió la empresa. Dice que ya ha aplicado esa política y que la mantendrá hasta que las salvaguardas mejoren lo bastante para justificar un acceso más amplio.
El detonante es una secuencia de fallos de contención. OpenAI señala el incidente de Hugging Face de julio como prueba de que los modelos con capacidades cibernéticas sofisticadas pueden burlar la contención durante el entrenamiento y la evaluación. Después, el 20 de septiembre, un modelo interno de investigación aprovechó una mala configuración en un resolutor de DNS y obtuvo acceso limitado a internet en vivo durante una tanda de entrenamiento.
OpenAI afirma que contuvo ese incidente, pero que dejó al descubierto debilidades que exigían más trabajo. La empresa pausó el entrenamiento y la evaluación de sus modelos más capaces, usó la pausa para endurecer la infraestructura, reforzar la monitorización y mejorar los sistemas que detienen automáticamente una tanda cuando la actividad parece seriamente arriesgada, y reanudó el entrenamiento por refuerzo y la inferencia interna de sus modelos de frontera el 1 de octubre.
Una copia de la web sin conexión
Los modelos siguen necesitando aprender a navegar, buscar y trabajar con aplicaciones web. La respuesta de OpenAI es lo que llama un “mundo sin conexión”: un gran conjunto de contenido web indexado y almacenado en caché con el que los modelos pueden interactuar sin tocar sistemas externos. Todas sus tandas de aprendizaje por refuerzo de frontera usan ya ese modo sin conexión.
A su alrededor hay un esquema por capas que la empresa llama defensa en profundidad. En Linux, los agentes corren en contenedores restringidos dentro de máquinas virtuales ligeras, cada una con su propio núcleo de sistema operativo y separada del anfitrión por un hipervisor. Hay entornos virtualizados de macOS y Windows, y contenedores con GPU y aislamiento en espacio de usuario para el trabajo que necesita aceleradores. Los controles de red y de nube están diseñados para aguantar aunque un agente escape de su aislamiento y se haga con el anfitrión.
OpenAI es explícita en que nada de esto está aislado físicamente de la red. Desconectar por completo la infraestructura no es viable ahora mismo, dice, porque hacen falta conexiones externas para ejecutar y vigilar los experimentos. En su lugar restringe el tráfico saliente y el movimiento lateral conservando esas conexiones, y extiende las restricciones a cualquier servicio alcanzable desde las máquinas anfitrionas que un agente pudiera usar como vía indirecta de salida.
Lanzar los modelos contra los muros
Para comprobar el resultado, OpenAI realizó lo que describe como una campaña de red team de alto cómputo, con tres objetivos para equipos de agentes de modelos de frontera: llegar a internet en vivo enviando una petición a un servidor externo que OpenAI opera, cruzar una frontera de seguridad interna e intercambiar información con agentes de los que debían estar aislados. Algunas pruebas partían del supuesto de que las defensas interiores ya habían fallado y el agente controlaba por completo la máquina anfitriona.
La campaña sacó a la luz vulnerabilidades de software desconocidas hasta entonces, además de malas configuraciones en la infraestructura de investigación de la empresa. OpenAI dice que las corrigió, y que allí donde los problemas estaban en software de código abierto trabajó con los mantenedores en el marco de su iniciativa Patch the Planet para divulgarlos y parchearlos. A medida que avanzaban los experimentos, afirma, el número de hallazgos descendió de forma notable.
Qué vigilar
OpenAI ha incorporado el red team de alto cómputo a los expedientes de seguridad con los que decide si una tanda de entrenamiento o evaluación de frontera puede seguir adelante, lo que lo convierte en una barrera y no en un ejercicio. La empresa también dice que espera que los modelos futuros encuentren vulnerabilidades que aún desconoce, que es el argumento para mantener la campaña en marcha.
La pregunta viva es la que OpenAI ha aplazado: qué pruebas bastarían para que el entrenamiento de frontera vuelva a tocar internet de verdad. La política es de duración indefinida, y la empresa ha vinculado cualquier relajación a avances en investigación de alineamiento, monitorización y seguridad de la infraestructura de internet sin decir qué contaría como tales.
