Qué dice OpenAI que ocurrió

OpenAI ha atribuido públicamente a personas vinculadas a Moonshot AI, el laboratorio chino detrás de Kimi, un esfuerzo coordinado para extraer el razonamiento protegido de sus modelos. En una entrada publicada el 30 de septiembre la compañía dijo que la actividad más temprana que observó fue en la primera semana de julio y que había desarticulado por completo la campaña el 28 de julio.

El razonamiento protegido es el trabajo interno del modelo: la parte que no aparece en la respuesta. OpenAI describe la actividad como destilación adversaria: usar sin autorización las salidas o el razonamiento de un modelo para entrenar o reproducir otro. La empresa es explícita en que no se rompió ningún cifrado, no se comprometió ninguna base de datos y nadie accedió directamente a conversaciones de usuarios almacenadas.

El truco, y la escala

El método era conversacional. Los operadores copiaban razonamiento cifrado de una conversación y pedían a un modelo en otra conversación que lo descifrara y transcribiera. Investigadores de seguridad independientes revelaron por su cuenta debilidades relacionadas entre modelos y en la compactación de conversaciones; OpenAI dice que comprobó esos hallazgos y confirmó que las vías de ataque eran reales.

Un cuaderno abierto con notas manuscritas, unas gafas y un lápiz
El razonamiento protegido es el registro interno de cómo el modelo resolvió la tarea. Foto ilustrativa. Mikhail Nilov · pexels · Pexels License

El volumen fue bajo al principio. Los días 24 y 25 de julio OpenAI contó 16.000 peticiones con un patrón de extracción relevante, procedentes de más de 4.000 usuarios. Al ampliar la búsqueda de patrones similares apareció un grupo de más de 15.000 usuarios en total. Una nota al pie de la propia entrada importa aquí: esas cifras describen intentos de extracción, no necesariamente extracciones logradas.

En la atribución, OpenAI matiza en una dirección y no en la otra. Dice que no está claro si todos los operadores observados provenían de un mismo actor, pero atribuye un núcleo de la actividad a personas vinculadas a Moonshot AI.

Qué cambió

OpenAI prohibió o restringió las cuentas, endureció los controles de registro y de infraestructura y amplió la vigilancia de redes relacionadas. En lo técnico, cerró la vía que permitía a quien tuviera el razonamiento cifrado de otro usuario reproducirlo para recuperar su contenido, y añadió controles capaces de detectar y retener salidas en streaming que pudieran exponer razonamiento. Donde la actividad pasaba por servicios de terceros, dice que trabajó con esos proveedores para desactivar las cuentas implicadas.

Una sala de reuniones con una mesa blanca alargada y sillas naranjas
OpenAI compartió sus hallazgos a través del Frontier Model Forum. Foto ilustrativa. Max Vakhtbovych · pexels · Pexels License

También compartió los hallazgos a través del Frontier Model Forum y de canales gubernamentales de intercambio de información, y sostiene que la manipulación de base no es exclusiva de sus modelos: cualquier sistema que admita artefactos de razonamiento portables o reproducibles puede estar expuesto a algo parecido.

Qué observar

Si Moonshot AI responde, y en qué términos. Si otros laboratorios de frontera publican detecciones equivalentes ahora que la técnica se ha descrito en el Frontier Model Forum. Y si alguien ajeno a los laboratorios puede verificar la atribución: OpenAI ha señalado a una empresa sobre la base de pruebas que no ha publicado, que es la forma habitual de este tipo de divulgación y también la razón por la que a los demás les cuesta comprobarla.