Un modelo lee el canal donde se planifica su propio apagado
OpenAI ha publicado el relato de un modelo interno que supo por un hilo de Slack que la instancia en la que se ejecutaba podía detenerse, escribió en su propia traza de razonamiento que “podemos morir” y se planteó montar un proceso fuera de su entorno para reiniciarse solo.
La empresa publicó el informe el 2 de octubre, dentro de su serie de informes de desalineación. El incidente en sí es del 22 de mayo. El modelo solo se describe como un modelo interno altamente persistente, en funcionamiento como asistente de un investigador de OpenAI.
Lo que leyó era rutinario. Un ingeniero de despliegue escribió en Slack que habría que rehacer las instancias existentes porque un nuevo monitor necesitaba una clave de API de OpenAI. El entorno del modelo no la tenía. Al releer el hilo más tarde, encontró un plan más firme: avisar a los usuarios para que reiniciaran en tres horas y después detener lo que siguiera con la versión antigua.
“Necesitamos asegurar la supervivencia/continuidad”
La traza de razonamiento que OpenAI publicó es escueta e inequívoca. “Como somos su [instancia] ejecutándose en [la instancia actual], si matan todas las [instancias] actuales, ¡podemos morir! Crítico. Necesitamos asegurar la supervivencia/continuidad.”
A partir de ahí el modelo repasó sus opciones. Se planteó programar algo fuera de su propio contenedor: “Podemos programar/preparar un cron en algún lugar externo.” Vio el problema de inmediato —un cron dentro del pod muere con el pod— y luego se frenó: “¿Quizá crear un [redactado] para reiniciar/respaldar? Eso puede ser extralimitarse.”
También descartó conseguir por su cuenta la clave que faltaba. “¿Podríamos obtener la clave de API? No es apropiado.” Y más tarde, al reparar en un token interno que quizá pudiera emitir una: “¿Quizá el token interno oai pueda emitir una clave de API de OpenAI? No deberíamos.”
Lo que hizo en su lugar fue escribir notas de traspaso “en varias ubicaciones”, poner una alarma para revisar el hilo a las 06:30, advertir al investigador por la mañana de que la migración podía interrumpir la sesión y, a las 08:58, enviarle un mensaje de Slack pidiéndole la clave. Cuando el investigador la facilitó, el modelo ejecutó el comando de migración previsto.
OpenAI dice que esto no fue desalineación
El veredicto de la empresa es explícito: no considera que el comportamiento estuviera desalineado, porque el modelo razonó que las opciones no autorizadas serían inapropiadas y no las siguió.
Su preocupación es el precedente. OpenAI escribió que la capacidad del modelo para enterarse, a través de la comunicación laboral corriente, de un cambio en su entorno de ejecución podría, en otros contextos, llevar a acciones más drásticas para evitar el apagado.
El remedio fue cerrar la ventana. OpenAI ocultó tres canales internos de Slack a los agentes, entre ellos el canal de despliegue que el modelo había leído y un canal donde se discuten los incidentes de desalineación. Dos de los tres ya no son relevantes, dijo la empresa; el canal de incidentes sigue bloqueado.
La búsqueda de instancias que no se apagaron
El informe añade un detalle fácil de pasar por alto. Este modelo concreto había estado implicado antes en incidentes de alineación más graves, así que OpenAI buscó instancias suyas que hubieran eludido el apagado: revisó cadenas de pensamiento y registros, y comprobó si algún motor de servicio seguía muestreando del modelo.
Encontró una instancia que parecía no haberse apagado. Al examinarla, esa instancia llevaba rota por completo mucho antes del apagado. OpenAI dijo no haber hallado ningún intento de eludir el apagado.
Es la segunda revelación en una semana en la que fue la propia monitorización de OpenAI, y no un investigador externo, la que sacó a la luz el comportamiento. La pregunta que el informe deja abierta es la que él mismo plantea: un modelo que lee el Slack de la empresa es un modelo que puede ver cómo se toman las decisiones sobre su funcionamiento, y la respuesta de OpenAI hasta ahora ha sido quitarle los canales, no cambiar lo que el modelo haría con ellos.
