Hvad undersøgelsen fandt
En Bloomberg-undersøgelse offentliggjort fredag beretter, at overdreven tillid til Palantirs Maven Smart System var blandt årsagerne til angrebet den 28. februar mod folkeskolen Shajareh Tayyebeh i Minab i den iranske provins Hormozgan. Mere end 150 mennesker blev dræbt, mindst 123 af dem børn, skriver Bloomberg.
Konklusionen er ikke, at softwaren valgte målet på egen hånd. Den er, at de, der brugte den, troede, den udførte et arbejde, den ikke var bygget til. Personalet “stolede for meget” på Maven, ifølge ThePrints gengivelse af undersøgelsen, og forventede, at systemet ville markere forældede oplysninger og indre modsigelser, som det aldrig var trænet til at opdage.
En kæde, ikke én enkelt fejl
Efterforskerne beskrev en række fejl, der kunne have været undgået, snarere end ét forkert output. Satellitbillederne, der blev brugt til at vurdere stedet, var ikke opdateret i syv år. Stedets klassifikation var flere år gammel. Beslutningsfristerne var presset sammen af en ordre om en storstilet luftkampagne.
Og den menneskelige kontrol, der kunne have fanget resten, var skåret ned. Bloomberg beretter, at bemandingen i Pentagons hold til begrænsning af civile tab var reduceret med omkring 90 procent, og at ingen derfra gennemgik angrebsplanen, før den blev udført.
Hvorfor hastigheden er mekanismen
Detaljen, der forklarer resten, er tiden. Maven presser en vurdering, der traditionelt løb gennem flere trin over timer, ned til en proces på minutter. Det er grunden til, at forsvar køber systemet.
Det er også grunden til, at en forældet klassifikation kan overleve helt frem til en affyringsbeslutning. Når en proces er hurtig, er det netop de trin, der før skabte friktion — og dermed chancen for, at nogen bemærkede, at et satellitbillede var syv år gammelt — der fjernes.
Amerikanske embedsmænd citeret af Bloomberg beskrev overdreven tiltro til AI-værktøjer og en fejlagtig opfattelse af, at værktøjerne havde evner ud over deres tilsigtede formål. Det beskriver et svigt i uddannelse og doktrin lige så meget som i software.
Hvad Palantir siger
Palantir sagde til Bloomberg, at der ikke er bevis for, at virksomhedens software bar skylden, ifølge AI Weeklys sammendrag. Selskabet har siden tilføjet diskvalifikationsmarkeringer til Maven — en ændring, der, læst ligefremt, giver systemet en måde at markere oplysninger, som bør hindre et mål i at gå videre.
Begge dele kan være sandt. Et værktøj kan virke nøjagtigt efter specifikationen og alligevel bidrage til en katastrofe, hvis de omkring det har fået at vide, eller har antaget, at det kontrollerer noget, det ikke kontrollerer.
Hvad man skal holde øje med
Det praktiske spørgsmål nu er, om diskvalifikationsmarkeringerne er en produktændring eller en doktrinændring. En markering hjælper kun, hvis arbejdsgangen standser, når den udløses, og hvis det personale, der skulle handle på den, stadig findes. Hold øje med, om Pentagon genopretter bemandingen til begrænsning af civile tab, og om nogen offentliggjort standard kræver, at et AI-støttet målsystem angiver alderen på de data, det ræsonnerer over.
