O que a investigação apurou
Uma investigação da Bloomberg publicada na sexta-feira afirma que a confiança excessiva no Maven Smart System, da Palantir, esteve entre as causas do ataque de 28 de fevereiro à escola primária Shajareh Tayyebeh, em Minab, província iraniana de Hormozgan. Mais de 150 pessoas morreram, ao menos 123 delas crianças, relatou a Bloomberg.
A conclusão não é que o software escolheu o alvo sozinho. É que quem o usava acreditava que ele fazia um trabalho para o qual não foi construído. A equipe “confiou demais” no Maven, segundo o relato do ThePrint sobre a investigação, esperando que o sistema sinalizasse informações desatualizadas e incoerências internas que nunca foi treinado para detectar.
Uma cadeia, não uma falha isolada
Os investigadores descreveram uma sequência de erros evitáveis, e não um único resultado errado. As imagens de satélite usadas para avaliar o local não eram atualizadas havia sete anos. A classificação do sítio estava desatualizada havia anos. Os prazos de decisão haviam sido comprimidos por uma ordem de campanha aérea em larga escala.
E o controle humano que poderia ter apanhado o resto fora reduzido. A Bloomberg relata que o pessoal das equipes do Pentágono para mitigação de danos a civis havia sido cortado em cerca de 90%, e que ninguém dessas equipes revisou o plano de ataque antes da execução.
Por que a velocidade é o mecanismo
O detalhe que explica o resto é o tempo. O Maven comprime em minutos uma avaliação que tradicionalmente percorria várias etapas ao longo de horas. É por isso que forças armadas o compram.
É também por isso que uma classificação vencida pode sobreviver até a decisão de disparo. Quando um processo é rápido, as etapas que antes criavam atrito — e com ele a chance de alguém notar que uma imagem de satélite tinha sete anos — são justamente as removidas.
Autoridades norte-americanas citadas pela Bloomberg descreveram excesso de confiança nas ferramentas de IA e a crença equivocada de que elas tinham capacidades além do escopo pretendido. Isso descreve uma falha de treinamento e doutrina tanto quanto de software.
O que diz a Palantir
A Palantir disse à Bloomberg que não há evidência de que seu software tenha sido o responsável, conforme o resumo da AI Weekly. A empresa passou a incluir marcadores de desqualificação no Maven — mudança que, lida sem rodeios, dá ao sistema um modo de sinalizar informações que deveriam impedir um alvo de avançar.
As duas coisas podem ser verdadeiras. Uma ferramenta pode funcionar exatamente conforme a especificação e ainda assim contribuir para uma catástrofe, se a quem está ao redor foi dito, ou se presumiu, que ela verifica algo que não verifica.
O que observar
A questão prática agora é se os marcadores são uma mudança de produto ou de doutrina. Um alerta só ajuda se o fluxo de trabalho parar quando ele dispara, e se ainda existir a equipe que agiria sobre ele. Vale observar se o Pentágono restabelece o efetivo de mitigação de danos a civis e se alguma norma publicada exige que um sistema de seleção de alvos assistido por IA declare a idade dos dados sobre os quais raciocina.
