Ce que l’enquête établit
Une enquête de Bloomberg publiée vendredi indique qu’une confiance excessive dans le Maven Smart System de Palantir figure parmi les causes de la frappe du 28 février contre l’école primaire Shajareh Tayyebeh, à Minab, dans la province iranienne d’Hormozgan. Plus de 150 personnes ont été tuées, dont au moins 123 enfants, rapporte Bloomberg.
Le constat n’est pas que le logiciel a choisi la cible seul. Il est que ceux qui l’utilisaient croyaient qu’il effectuait un travail pour lequel il n’avait pas été conçu. Le personnel a “trop fait confiance” à Maven, selon le compte rendu de ThePrint, en attendant du système qu’il signale des informations périmées et des incohérences internes qu’il n’avait jamais été entraîné à détecter.
Un enchaînement, non une défaillance unique
Les enquêteurs décrivent une suite d’erreurs évitables plutôt qu’un seul résultat erroné. Les images satellites utilisées pour évaluer le site n’avaient pas été actualisées depuis sept ans. Le classement du lieu datait de plusieurs années. Les délais de décision avaient été comprimés par l’ordre d’une vaste campagne aérienne.
Et le contrôle humain qui aurait pu rattraper le reste avait été réduit. Bloomberg indique que les effectifs des équipes du Pentagone chargées de limiter les pertes civiles avaient été amputés d’environ 90 %, et que personne de ces équipes n’a examiné le plan de frappe avant son exécution.
Pourquoi la vitesse est le mécanisme
Le détail qui explique le reste est le temps. Maven ramène à quelques minutes une évaluation qui passait auparavant par plusieurs étapes sur plusieurs heures. C’est la raison pour laquelle les armées l’achètent.
C’est aussi la raison pour laquelle un classement périmé peut survivre jusqu’à la décision de tir. Quand un processus est rapide, les étapes qui créaient de la friction — et avec elle la possibilité que quelqu’un remarque qu’une image satellite a sept ans — sont précisément celles que l’on supprime.
Des responsables américains cités par Bloomberg évoquent un excès de confiance dans les outils d’IA et la croyance erronée qu’ils possédaient des capacités dépassant leur usage prévu. C’est la description d’une défaillance de formation et de doctrine autant que de logiciel.
Ce que dit Palantir
Palantir a déclaré à Bloomberg qu’aucun élément n’établit la responsabilité de son logiciel, selon le résumé d’AI Weekly. L’entreprise a depuis ajouté à Maven des marqueurs disqualifiants — une modification qui, lue simplement, donne au système un moyen de signaler des informations devant empêcher une cible d’avancer.
Les deux choses peuvent être vraies. Un outil peut fonctionner exactement comme spécifié et contribuer malgré tout à une catastrophe, si son entourage s’est vu dire, ou a supposé, qu’il vérifiait quelque chose qu’il ne vérifie pas.
À surveiller
La question pratique est de savoir si ces marqueurs relèvent du produit ou de la doctrine. Une alerte ne sert que si le processus s’arrête lorsqu’elle se déclenche, et si le personnel censé y répondre existe encore. À surveiller : le rétablissement éventuel des effectifs de limitation des pertes civiles, et l’apparition d’une norme publiée exigeant qu’un système de ciblage assisté par IA indique l’ancienneté des données sur lesquelles il raisonne.
