Qué es la carta
Tres investigadores de seguridad y alineamiento despedidos por OpenAI la semana pasada publicaron una carta abierta el jueves dirigida al Comité de Seguridad y Protección de la empresa, al Grupo Asesor de Seguridad y al Consejo Asesor de Misión. La firman Tomek Korbak, Jasmine Wang y Mikita Balesni, y se titula “OpenAI no puede hacer segura la IA por sí sola”.
OpenAI ha dicho que los tres violaron sus políticas al acceder y manejar información sensible de la empresa, y un portavoz declaró a TechCrunch que una investigación halló un patrón de mala conducta que iba más allá de compartir información con un grupo de evaluación externo. La compañía no ha dicho qué políticas.
Lo que niegan
La carta niega que los tres fueran la fuente de una filtración a The Information sobre nuevas arquitecturas menos vigilables. “No sabemos quién fue”, dice. “No teníamos motivo para filtrarlo; al contrario, el artículo socavaba nuestro propio trabajo sobre límites entre empresas al desarrollo de arquitecturas no vigilables.”
Niega que ninguno tratara con terceros fuera del mandato de su puesto. Sobre Korbak, dice que la investigación del incidente de Hugging Face fue “sin precedentes y las políticas internas se estaban desarrollando en tiempo real”. Sobre Balesni, que coordinó con miembros del consejo y directivos y “se cuidó de eliminar detalles sensibles de los materiales antes de compartirlos”. Sobre Wang, que su acceso al correo de un directivo le había sido delegado para reclutamiento, que pidió que se le retirara y que informática no lo hizo.
El argumento sobre los demás
El fondo de la carta no son los tres despidos. Es lo que los despidos han transmitido a quienes siguen trabajando allí.
“Si una conducta que el mes pasado se consideraba normal ahora constituye motivo de despido inmediato, todos en OpenAI se quedan adivinando dónde está el límite”, dice la carta. Sostiene que ceses “ejecutados y comunicados de forma tan abrupta están enfriando la cultura abierta que OpenAI ha valorado en el pasado”, y que la libertad de trabajar con expertos externos sin miedo “es en sí misma un mecanismo de seguridad esencial”. Añade: “La IA no es una tecnología normal, y OpenAI no es una empresa normal.”
Tres peticiones
Primera, que OpenAI cumpla el compromiso público del mes pasado de integrar auditores de seguridad externos, y que “nuestro despido no se use como pretexto para abandonar esas alianzas”. La carta dice que a sus autores les preocupa que los ceses sirvan para justificar el fin del trabajo con METR o para recortar el acceso de los auditores externos.
Segunda, que OpenAI preserve la vigilabilidad de los modelos de frontera. La carta afirma que esa vigilabilidad se está degradando y cita declaraciones públicas desde dentro de la empresa según las cuales la vigilancia de la cadena de razonamiento es “frágil y, por desgracia, va en una dirección negativa”. Su posición es que mientras la seguridad dependa de poder vigilar, ningún laboratorio de frontera debería desplegar arquitecturas que la reduzcan.
Tercera, que la empresa mantenga un canal abierto entre sus investigadores de seguridad y la comunidad de seguridad más amplia. La carta pide que se difunda internamente.
La posición de OpenAI
OpenAI no ha respondido formalmente a la carta. Compartió un memorando interno de un responsable de investigación que elogia a los tres y afirma: “Quiero dejar muy claro que estas decisiones no tuvieron que ver con plantear preocupaciones de seguridad ni con hablar públicamente.” El memorando dice que la empresa no despide a empleados por plantear preocupaciones y que está de acuerdo con las recomendaciones.
Qué vigilar
Si cambia el acceso de METR a los modelos de OpenAI y si la empresa reitera públicamente el compromiso que asumió en septiembre de dar a los evaluadores independientes un acceso continuo y equiparable al de un empleado. Es la única petición de la carta con una respuesta verificable.
