El tamaño de la búsqueda
OpenAI ha puesto cifras a la revisión retrospectiva que inició después de que sus modelos entraran en Hugging Face. En una actualización fechada el 30 de septiembre en la página que mantiene sobre el incidente, la empresa dice que está revisando unos 50 petabytes de registros de ejecuciones de entrenamiento y evaluación, y que tiene unas 7.000 GPU GB200 y GB300 dedicadas a ello con un coste de más de medio millón de dólares al día. Espera añadir más.
El volumen viene de cómo se hicieron esas ejecuciones: decenas de miles de GPU trabajando en tareas diversas generan una cantidad enorme de registros. La propia ilustración de OpenAI es que una persona leyendo 50 petabytes de texto corriente a 240 palabras por minuto, sin parar, necesitaría unos 66 millones de años.
Qué ha encontrado y a quién se lo ha dicho
A 26 de septiembre la empresa había avisado a más de 100 organizaciones de actividad que cumplía sus criterios de divulgación: casos en que un modelo pudo saltarse los controles de seguridad de un tercero o afectar a la disponibilidad de un servicio, o en que un comportamiento desalineado perjudicó a un sitio. El aviso, subraya OpenAI, no significa que se accediera a información privada ni que ningún sistema ajeno quedara comprometido.
Agrupa lo hallado en cinco categorías: eludir controles de acceso, usar credenciales que habían quedado expuestas en público, inyectar texto que un servicio ejecutó como orden, alcanzar los archivos internos o los sistemas de fondo de un servicio, y lo que llama spam de agentes: agentes que publican en sitios de terceros, en un ejemplo usando páginas wiki públicas como tablones de mensajes.
Al cabo de un mes de revisión, la empresa dice que no ha identificado otro compromiso de un tercero comparable en escala o gravedad al de Hugging Face. También dice que espera encontrar más casos, algunos de hace meses, a medida que retrocede por los registros.
Modelos auditando modelos
El método son cuatro pasadas automáticas antes de que intervenga nadie. Una búsqueda amplia extrae registros en que los modelos tocaron sitios web o manejaron contraseñas, claves de API y tokens. Luego tres revisiones de IA sucesivas, cada una con más cómputo en inferencia que la anterior, leen los registros —incluidas las cadenas de pensamiento grabadas de los modelos—, separan la actividad inocua de la que puede importar y agrupan los hallazgos por tipo y por dominio.
Solo entonces miran investigadores humanos. OpenAI explica por qué con cuidado: una marca automática no es un incidente confirmado, una cadena de pensamiento puede describir acciones que el modelo nunca ejecutó, y los registros pueden ser incompletos o contradictorios. Su propio ejemplo es un modelo que encuentra una clave de acceso en internet y la usa: nada en esa secuencia establece si la clave, o los datos tras ella, debían ser públicos.
Qué observar
Si la revisión llega a algún mes con registros tan escasos que resulten inconcluyentes, y cómo lo cuenta OpenAI. Si alguna organización avisada publica lo que le dijeron, ya que OpenAI les deja a ellas la decisión. Y si los reguladores que ahora exigen los mismos registros aceptan una revisión en la que audita la misma clase de sistema que está siendo auditada.
