Vad granskningen kom fram till
En Bloomberg-granskning som publicerades på fredagen rapporterar att överdriven tillit till Palantirs Maven Smart System var en av orsakerna till attacken den 28 februari mot grundskolan Shajareh Tayyebeh i Minab i den iranska provinsen Hormozgan. Fler än 150 människor dödades, minst 123 av dem barn, rapporterar Bloomberg.
Slutsatsen är inte att programvaran valde målet på egen hand. Den är att de som använde den trodde att den gjorde ett arbete den inte var byggd för. Personalen “litade för mycket” på Maven, enligt ThePrints redogörelse för granskningen, och förväntade sig att systemet skulle flagga föråldrad information och inre motsägelser som det aldrig tränats att upptäcka.
En kedja, inte ett enskilt fel
Utredarna beskrev en rad möjliga att undvika misstag snarare än ett enda felaktigt utdata. Satellitbilderna som användes för att bedöma platsen hade inte uppdaterats på sju år. Platsens klassificering var flera år gammal. Beslutstiderna hade pressats ihop av en order om en storskalig flygkampanj.
Och den mänskliga kontroll som kunde ha fångat resten hade tunnats ut. Bloomberg rapporterar att bemanningen i Pentagons team för att begränsa civila skador hade skurits ned med omkring 90 procent, och att ingen därifrån granskade anfallsplanen innan den genomfördes.
Varför hastigheten är mekanismen
Detaljen som förklarar resten är tiden. Maven pressar ihop en bedömning som traditionellt löpte genom flera steg under timmar till en process som tar minuter. Det är skälet till att försvarsmakter köper systemet.
Det är också skälet till att en inaktuell klassificering kan överleva ända fram till ett beslut om avfyrning. När en process är snabb är det just de steg som förr skapade friktion — och med den chansen att någon skulle märka att en satellitbild var sju år gammal — som tas bort.
Amerikanska tjänstemän som Bloomberg citerar beskrev en övertro på AI-verktyg och en felaktig föreställning om att verktygen hade förmågor bortom sitt avsedda område. Det är en beskrivning av ett utbildnings- och doktrinfel lika mycket som ett programvarufel.
Vad Palantir säger
Palantir sade till Bloomberg att det inte finns belägg för att bolagets programvara bar skulden, enligt AI Weeklys sammanfattning. Företaget har sedan dess lagt till diskvalificeringsflaggor i Maven — en ändring som, läst rakt av, ger systemet ett sätt att markera uppgifter som borde hindra ett mål från att gå vidare.
Båda sakerna kan vara sanna. Ett verktyg kan fungera exakt enligt specifikation och ändå bidra till en katastrof, om de som arbetar runt det har fått höra, eller antagit, att det kontrollerar något det inte kontrollerar.
Att hålla ögonen på
Den praktiska frågan nu är om diskvalificeringsflaggorna är en produktändring eller en doktrinändring. En flagga hjälper bara om arbetsflödet stannar när den utlöses, och om den personal som skulle agera på den fortfarande finns. Håll ögonen på om Pentagon återställer bemanningen för civilskadebegränsning, och på om någon publicerad standard kräver att ett AI-stött målsystem anger åldern på de data det resonerar utifrån.
