O que aconteceu
Um relatório de informações que circulou nas forças armadas norte-americanas esta primavera afirmava que um navio chinês no Médio Oriente transportava componentes de um programa de armas nucleares. Os militares prepararam-se para o intercetar. Havia pessoal armado a postos para subir a bordo e aviões militares já no ar, noticiou a CNN na sexta-feira, citando quatro fontes conhecedoras do episódio.
Só mesmo antes da operação é que responsáveis examinaram o relatório com mais atenção. Tinha sido elaborado por um analista de um comando de operações especiais com ajuda de inteligência artificial, e o chatbot usado identificara mal o que o navio transportava. A CNN não conseguiu apurar qual era a carga real.
O relatório era “inteiramente falso”, disse uma fonte à CNN. Também “quase começou uma guerra”, acrescentou a mesma fonte. Uma abordagem norte-americana a um navio chinês traz um risco evidente de escalar para um confronto armado entre os dois países.
Como o erro foi produzido
O analista consultou um chatbot sobre informações relativas ao manifesto do navio, originadas no Comando de Operações Especiais dos EUA para o Pacífico, sediado no Havai. O sistema cruzou material de fontes abertas com informações de sinais classificadas guardadas em sistemas governamentais e chegou à sua conclusão sobre a carga.
O analista recorreu depois à IA uma segunda vez, para dar ao resultado o formato de um produto de informações padrão — aquele que os oficiais são treinados a levar a sério — e distribuiu-o.
A CNN não conseguiu determinar se o chatbot era um produto comercial ou uma ferramenta construída pelo Estado. Um antigo alto responsável norte-americano familiarizado com estes sistemas resumiu a diferença assim: “As ferramentas internas são sobretudo cópias do comercial com batom.”
O Comando de Operações Especiais para o Pacífico e o Pentágono não responderam ao pedido de comentário da CNN.
Uma aceleração deliberada
O episódio surge no meio de um esforço para colocar IA em todo o trabalho de defesa e informações dos EUA. Em janeiro, o secretário da Defesa Pete Hegseth apresentou uma Estratégia de Aceleração da Inteligência Artificial. “Vamos libertar a experimentação, eliminar barreiras burocráticas, concentrar os nossos investimentos e demonstrar a abordagem de execução necessária para liderarmos na IA militar”, disse ao anunciá-la.
O memorando que a acompanhava descrevia o objetivo como “democratizar a experimentação e a transformação com IA em todo o Departamento, colocando os modelos de IA líderes da América diretamente nas mãos dos nossos três milhões de funcionários civis e militares, em todos os níveis de classificação”.
A implementação é descentralizada. Diferentes partes do departamento usam ferramentas diferentes sob ordens e normas de segurança diferentes, disseram vários responsáveis à CNN, e não existe um critério único para verificar o que essas ferramentas produzem. A fiabilidade varia muito entre sistemas.
O risco que já existe
Washington passou as últimas semanas a discutir se modelos avançados poderão escapar ao controlo humano. Este episódio aponta para algo mais estreito e mais próximo: pessoas a tomar decisões graves com base em texto que soa autorizado e está errado.
Uma fonte conhecedora da política atual disse à CNN que “a IA na designação de alvos está claramente a aumentar e não há orientação real sobre como ter um humano no circuito evitará baixas civis ou fogo amigo”. Outra fonte afirmou que alucinações deste tipo não têm sido isoladas na comunidade de informações desde que as ferramentas começaram a espalhar-se.
Responsáveis mais antigos descreveram um efeito secundário: as ferramentas aumentam o ritmo a que se espera que os analistas produzam e divulguem informações acabadas, e os analistas mais jovens confiam nelas com mais facilidade. Como resumiu uma fonte à CNN: “A IA permite chegar mais depressa a uma má ideia.”
Nem o Pentágono nem o comando para o Pacífico disseram se as normas de verificação expostas pelo episódio vão mudar.
