Hva gjennomgangen fant
En Bloomberg-gransking publisert fredag melder at overdreven tillit til Palantirs Maven Smart System var blant årsakene til angrepet 28. februar mot barneskolen Shajareh Tayyebeh i Minab i den iranske provinsen Hormozgan. Mer enn 150 mennesker ble drept, minst 123 av dem barn, melder Bloomberg.
Funnet er ikke at programvaren valgte målet på egen hånd. Det er at de som brukte den trodde den gjorde et arbeid den ikke var bygget for. Personellet “stolte for mye” på Maven, ifølge ThePrints gjengivelse av granskingen, og ventet at systemet ville flagge utdatert informasjon og indre motsetninger det aldri var trent til å oppdage.
En kjede, ikke én enkelt svikt
Etterforskerne beskrev en rekke feil som kunne vært unngått, ikke ett galt utdata. Satellittbildene som ble brukt til å vurdere stedet, var ikke oppdatert på sju år. Stedets klassifisering var flere år gammel. Beslutningsfristene var presset sammen av en ordre om en storstilt luftkampanje.
Og den menneskelige kontrollen som kunne fanget resten, var tynnet ut. Bloomberg melder at bemanningen i Pentagons team for å begrense sivile tap var kuttet med rundt 90 prosent, og at ingen derfra gjennomgikk angrepsplanen før den ble utført.
Hvorfor farten er mekanismen
Detaljen som forklarer resten, er tiden. Maven presser en vurdering som tradisjonelt gikk gjennom flere trinn over timer, ned til en prosess som tar minutter. Det er grunnen til at forsvar kjøper systemet.
Det er også grunnen til at en utdatert klassifisering kan overleve helt fram til en avfyringsbeslutning. Når en prosess er rask, er det nettopp trinnene som før skapte friksjon — og med det sjansen for at noen merket at et satellittbilde var sju år gammelt — som fjernes.
Amerikanske tjenestemenn sitert av Bloomberg beskrev overdreven tro på KI-verktøy og en feilaktig oppfatning av at verktøyene hadde evner utover sitt tiltenkte bruksområde. Det beskriver en svikt i opplæring og doktrine like mye som i programvare.
Hva Palantir sier
Palantir sa til Bloomberg at det ikke finnes bevis for at selskapets programvare hadde skylden, ifølge AI Weeklys sammendrag. Selskapet har siden lagt inn diskvalifiseringsflagg i Maven — en endring som, lest rett fram, gir systemet en måte å merke opplysninger som bør hindre at et mål går videre.
Begge deler kan være sant. Et verktøy kan virke nøyaktig etter spesifikasjonen og likevel bidra til en katastrofe, hvis de rundt det har fått høre, eller har antatt, at det kontrollerer noe det ikke kontrollerer.
Hva man bør følge med på
Det praktiske spørsmålet nå er om diskvalifiseringsflaggene er en produktendring eller en doktrineendring. Et flagg hjelper bare hvis arbeidsflyten stopper når det utløses, og hvis personellet som skulle handle på det fortsatt finnes. Følg med på om Pentagon gjenoppretter bemanningen for å begrense sivile tap, og på om noen publisert standard krever at et KI-støttet målsystem oppgir alderen på dataene det resonnerer over.
