Qué se construyó
Goodfire publicó el 8 de octubre resultados de monitores de uso indebido en ciberseguridad basados en sondas, creados para Kimi K3, de Moonshot AI, y GLM 5.3, de Zhipu, y ejecutados sobre una pila de inferencia en producción.
El diseño es una cascada. Una sonda ligera lee las activaciones internas del modelo mientras funciona y marca los intercambios que parecen sospechosos. Solo los marcados pasan a un juez basado en un modelo de lenguaje completo, de modo que el paso caro se ejecuta rara vez en lugar de en cada turno. Goodfire amplió SGLang, el motor de servicio, para calcular las puntuaciones de las sondas dentro de él.
Las cifras
Todas son mediciones de la propia Goodfire, sobre su propio conjunto de evaluación.
La cascada detectó cerca del 93% de las sesiones dañinas con una tasa de interrupción del 5,5% de sesiones benignas, con o sin razonamiento del juez, igualando el techo de recuperación del juez con aproximadamente seis veces menos llamadas. Frente a Jev, un juez barato de modelo de decisión, recuperó el 93% donde Jev logró el 86%.
El coste es donde vive la afirmación. Goodfire sitúa la cascada en unos 65 dólares por millón de turnos sin razonamiento del juez y 185 con él, frente a 3.166 y 5.420 dólares por ejecutar un juez en cada turno: entre 29 y 49 veces menos cómputo de juez. La latencia añadida por turno cayó de 160 ms a 2 ms sin razonamiento y de 2.750 ms a 42 ms con él. Los cambios de rendimiento se mantuvieron dentro del ruido de las pruebas, por debajo del 2%.
Qué bloqueó
En bloqueo de extremo a extremo, y no solo en detección, el bloqueo de sesiones dañinas subió de cerca del 29% al 96% en Kimi K3 y de cerca del 36% al 91% en GLM 5.3. El coste aparece en la otra columna: la interrupción de sesiones inofensivas pasó de cerca del 5% al 9% en Kimi K3 y de cerca del 10% al 15% en GLM 5.3.
FAR.AI realizó pruebas externas de equipo rojo. Los jailbreaks universales cayeron de entre el 12% y el 53%, según el esfuerzo de razonamiento, a cero. El éxito en ataques no universales a nivel de interacciones individuales cayó de al menos un 9-40% a entre el 0,1% y el 1,6%.
Las salvedades que imprimen los autores
Goodfire es explícita sobre los límites, y aquí importan más de lo habitual porque nada del informe está verificado por terceros.
La evaluación usó un conjunto interno de 2.400 sesiones con etiquetas de Claude Opus 5 como referencia. Los costes se derivan de las tarifas de OpenRouter para ese conjunto, no de la facturación de clientes. El trabajo de FAR.AI fue preliminar: dos días, un conjunto no adaptativo de jailbreaks estáticos y 18 de 700 interacciones de jailbreak que aun así tuvieron éxito. El monitor de GLM 5.3 se construyó con datos de Kimi K3 y fue algo peor sobre el tráfico propio de GLM. Goodfire dice que planea continuar la colaboración con FAR.AI para más pruebas.
Por qué el enfoque es interesante
La mayor parte de la vigilancia de seguridad en producción lee lo que el modelo escribió. Esto lee lo que el modelo estaba haciendo mientras escribía, y solo paga por un lector del texto cuando la señal interna dice que algo va mal.
Si las cifras de coste se mantienen fuera del conjunto de evaluación de Goodfire, eso cambia lo que resulta asequible: un juez en cada turno de cada sesión es una partida que la mayoría de los despliegues no soportará, y una sonda de dos milisegundos sí. TechCrunch informó de que los monitores están disponibles para los clientes del proveedor de inferencia Baseten, que eligen si una alerta se registra, se envía a una persona o se usa para rechazar la petición.
Qué vigilar
Dos cosas. Si alguien reproduce las cifras de recuperación y coste sobre datos que Goodfire no haya reunido, y si el trabajo de equipo rojo de FAR.AI sobrevive al contacto con atacantes adaptativos y no con un conjunto estático de jailbreaks.
Hasta entonces esto es un resultado de proveedor con salvedades inusualmente claras, lo que es mejor que la mayoría y sigue sin ser independiente.
