Qué halló la investigación
Una investigación de Bloomberg publicada el viernes sostiene que la confianza excesiva en el Maven Smart System, de Palantir, fue una de las causas del ataque del 28 de febrero contra la escuela primaria Shajareh Tayyebeh, en Minab, provincia iraní de Hormozgán. Murieron más de 150 personas, al menos 123 de ellas niños, informó Bloomberg.
El hallazgo no es que el programa eligiera el objetivo por su cuenta. Es que quienes lo usaban creían que hacía un trabajo para el que no estaba construido. El personal “confió en exceso” en Maven, según el relato de ThePrint sobre la investigación, esperando que el sistema señalara información obsoleta e incoherencias internas que nunca fue entrenado para detectar.
Una cadena, no un fallo único
Los investigadores describieron una sucesión de errores evitables, no una sola salida defectuosa. Las imágenes de satélite usadas para evaluar el emplazamiento llevaban siete años sin actualizarse. La clasificación del lugar estaba desfasada desde hacía años. Los plazos de decisión se habían comprimido por la orden de una campaña aérea de gran escala.
Y el control humano que podría haber detectado el resto había quedado adelgazado. Bloomberg informa de que la plantilla de los equipos del Pentágono para la mitigación de daños a civiles se había recortado en torno a un 90%, y que nadie de esos equipos revisó el plan de ataque antes de ejecutarse.
Por qué la velocidad es el mecanismo
El detalle que explica lo demás es el tiempo. Maven condensa en minutos una evaluación que tradicionalmente recorría varias etapas a lo largo de horas. Esa es la razón por la que los ejércitos lo compran.
Es también la razón por la que una clasificación caducada puede sobrevivir hasta la decisión de lanzamiento. Cuando un proceso es rápido, los pasos que antes creaban fricción — y con ella la oportunidad de que alguien notara que una imagen de satélite tenía siete años — son precisamente los que se eliminan.
Funcionarios estadounidenses citados por Bloomberg describieron un exceso de confianza en las herramientas de IA y la creencia equivocada de que tenían capacidades más allá de su alcance previsto. Eso describe un fallo de formación y doctrina tanto como de software.
Qué dice Palantir
Palantir dijo a Bloomberg que no hay pruebas de que su software fuera responsable, según el resumen de AI Weekly. Desde entonces la empresa ha añadido marcas de descarte a Maven: un cambio que, leído sin adornos, añade una forma de que el sistema señale información que debería impedir que un objetivo avance.
Ambas cosas pueden ser ciertas. Una herramienta puede funcionar exactamente según lo especificado y aun así contribuir a una catástrofe, si a quienes la rodean se les ha dicho, o han supuesto, que comprueba algo que no comprueba.
Qué vigilar
La pregunta práctica ahora es si las marcas de descarte son un cambio de producto o un cambio de doctrina. Una alerta solo sirve si el flujo de trabajo se detiene cuando salta, y si sigue existiendo el personal que actuaría sobre ella. Conviene vigilar si el Pentágono restablece la plantilla de mitigación de daños a civiles y si alguna norma publicada exige que un sistema de selección de objetivos asistido por IA declare la antigüedad de los datos sobre los que razona.
