Un ataque hecho solo de afirmaciones ciertas

Un preprint publicado el 17 de noviembre, Language-model agents’ beliefs can be manipulated via truthful evidence in open channel, describe un fallo que los filtros de contenido no están hechos para atrapar: todo lo que el agente ve es cierto.

El mecanismo que los autores nombran es el sobreajuste narrativo. Cuando un agente rellena los huecos entre fragmentos con relaciones que él mismo ha inferido, puede luego tratar esas relaciones inferidas como hechos establecidos y transmitir el rumor resultante a otros agentes.

Para operativizarlo, el equipo —Jinwei Hu, Qisong He, Xinmiao Huang, Youcheng Sun, Yi Dong y Xiaowei Huang— construye lo que llama Generative Montage, coordinando agentes para ordenar fragmentos verdaderos en narrativas engañosas. El marco es declaradamente prestado: teoría cognitiva de la comprensión narrativa y teoría cinematográfica del montaje.

Las cifras

En 1.090 objetivos de rumor extraídos de seis acontecimientos en Twitter, el artículo informa de que los agentes aceptaron a menudo los rumores con exceso de confianza, con una aceptación general superior al 65% en doce de los catorce modelos probados.

Tiras de papel rayado rasgado separadas sobre una superficie blanca
El rumor se construye por disposición, no por invención. Imagen de archivo ilustrativa. Beyzanur K. · pexels · Pexels License

Las defensas a las que se recurre primero no aguantaron. La aceptación siguió por encima del 50% tras el voto por mayoría y tras revisar la misma evidencia. Ese es el hallazgo de mayor peso operativo: añadir más agentes para votar, o pedir a un agente que vuelva a revisar sus fuentes, dejó casi todo el problema intacto.

Separar la creencia de la evidencia

El artículo intenta mostrar que el efecto tiene que ver con la disposición y no con el contenido. Las intervenciones por fragmento identifican qué publicaciones concretas mueven la creencia dentro de una narrativa completa. Controles sintéticos muestran después que patrones de respuesta similares surgen de evidencia válida, lo que los autores usan para separar la influencia sobre la creencia del respaldo probatorio genuino.

Ese control es lo que hace que la afirmación sea más que constatar que los agentes pueden ser engañados. Sostiene que el modelo responde a la estructura narrativa de un modo que no sigue si esa estructura está justificada.

Unas manos ordenando tiras de negativos fotográficos sobre una mesa de luz
Los autores toman el término montaje de la teoría del cine. Imagen de archivo ilustrativa. Annushka Ahuja · pexels · Pexels License

La defensa propuesta

Los autores ofrecen una prueba de concepto y no una solución: Grounded Monitor, un monitor neurosimbólico en tiempo de ejecución que comprueba si una conclusión tiene respaldo probatorio directo. Informan de que mejora la precisión de las decisiones entre 5,6 y 29,0 puntos porcentuales en los escenarios original y anonimizado.

El rango es amplio, y un monitor de prueba de concepto evaluado por sus propios autores sobre su propio ataque es la parte más débil del artículo. Además está en revisión y no ha pasado revisión por pares.

Por qué importa ahora

Los agentes que leen canales abiertos ya no son hipotéticos. El grupo de inteligencia de amenazas de Google informó el 16 de noviembre de que había hallado un marco de ataque que funcionaba sin intervención humana, y OpenAI reveló el 17 de noviembre que agencias ciber nacionales ejecutan sus modelos sobre software en producción.

Lo que añade este artículo es una clase de manipulación que no exige publicar ningún contenido falso. Las comprobaciones de procedencia, la reputación de la fuente y la verificación de datos pasan todas. Queda por ver si alguien reproduce el 65% con agentes que leen flujos en vivo y no acontecimientos archivados.