Ce qui s’est passé
Un rapport de renseignement diffusé dans l’armée américaine ce printemps affirmait qu’un navire chinois au Moyen-Orient transportait des composants d’un programme d’armes nucléaires. L’armée s’est préparée à l’intercepter. Des militaires armés s’apprêtaient à monter à bord et des avions étaient déjà en vol, a rapporté CNN vendredi, citant quatre sources au fait de l’épisode.
Ce n’est que juste avant l’opération que des responsables ont examiné le rapport de plus près. Il avait été rédigé par un analyste d’un commandement des opérations spéciales avec l’aide de l’intelligence artificielle, et le chatbot utilisé avait mal identifié la cargaison. CNN n’a pas pu établir ce que le navire transportait réellement.
Le rapport était “entièrement faux”, a déclaré une source à CNN. Il a aussi “failli déclencher une guerre”, a ajouté la même source. Un arraisonnement américain d’un navire chinois comporte un risque évident d’escalade vers une confrontation armée entre les deux pays.
Comment l’erreur a été produite
L’analyste a interrogé un chatbot sur des renseignements relatifs au manifeste du navire, provenant du commandement américain des opérations spéciales pour le Pacifique, basé à Hawaï. Le système a croisé des éléments en source ouverte avec du renseignement d’origine électromagnétique classifié détenu dans des systèmes gouvernementaux et a tiré sa conclusion.
L’analyste a ensuite eu recours à l’IA une seconde fois, pour mettre ce résultat au format d’un produit de renseignement standard — celui que les officiers sont formés à considérer comme fiable — puis l’a diffusé.
CNN n’a pas pu déterminer si le chatbot était un produit commercial ou un outil développé par l’État. Un ancien haut responsable américain connaissant ces systèmes a résumé la différence ainsi : “Les outils internes sont pour l’essentiel des copies du commercial avec du rouge à lèvres.”
Le commandement des opérations spéciales pour le Pacifique et le Pentagone n’ont pas répondu à la demande de commentaire de CNN.
Une accélération assumée
L’épisode survient en pleine campagne pour introduire l’IA partout dans le travail de défense et de renseignement américain. En janvier, le secrétaire à la Défense Pete Hegseth a présenté une stratégie d’accélération de l’intelligence artificielle. “Nous allons libérer l’expérimentation, supprimer les barrières bureaucratiques, concentrer nos investissements et démontrer l’approche d’exécution nécessaire pour être en tête sur l’IA militaire”, a-t-il déclaré.
La note d’accompagnement décrivait l’objectif comme “démocratiser l’expérimentation et la transformation par l’IA dans tout le ministère, en mettant les modèles d’IA les plus avancés d’Amérique directement entre les mains de nos trois millions de personnels civils et militaires, à tous les niveaux de classification”.
Ce déploiement est décentralisé. Différentes parties du ministère utilisent des outils différents sous des ordres et des normes de sécurité différents, ont indiqué plusieurs responsables à CNN, et il n’existe pas de norme unique pour vérifier ce que ces outils produisent. La fiabilité varie fortement d’un système à l’autre.
Le risque déjà présent
Washington débat depuis des semaines de la possibilité que des modèles avancés échappent au contrôle humain. Cet épisode désigne quelque chose de plus étroit et de plus proche : des personnes prenant des décisions lourdes sur la base d’un texte qui sonne juste et qui est faux.
Une source connaissant la doctrine actuelle a dit à CNN que “l’IA dans la désignation d’objectifs monte clairement en puissance et il n’existe aucune véritable directive sur la façon dont un humain dans la boucle empêchera des pertes civiles ou des tirs fratricides”. Une autre source a indiqué que ce type d’hallucination n’a pas été isolé dans la communauté du renseignement depuis la diffusion de ces outils.
Des responsables plus anciens ont décrit un effet second : les outils augmentent le rythme auquel les analystes doivent produire et diffuser du renseignement fini, et les jeunes analystes leur font plus volontiers confiance. Comme l’a résumé une source à CNN : “L’IA permet d’arriver plus vite à une mauvaise idée.”
Ni le Pentagone ni le commandement pour le Pacifique n’ont indiqué si les normes de vérification mises à nu par l’épisode allaient changer.
