Vad som hände
En underrättelserapport som cirkulerade inom den amerikanska försvarsmakten i våras uppgav att ett kinesiskt fartyg i Mellanöstern förde komponenter till ett kärnvapenprogram. Militären förberedde en bordning. Beväpnad personal stod redo och militärflygplan var redan i luften, rapporterade CNN på fredagen med hänvisning till fyra källor med insyn i händelsen.
Först strax före operationen granskade ansvariga rapporten närmare. Den hade satts ihop av en analytiker vid ett specialförbandskommando med hjälp av artificiell intelligens, och den chatbot analytikern använt hade felaktigt identifierat fartygets last. CNN kunde inte fastställa vad lasten faktiskt var.
Rapporten var “helt och hållet falsk”, sade en källa till CNN. Den “höll också på att starta ett krig”, sade samma källa. En amerikansk bordning av ett kinesiskt fartyg bär en uppenbar risk att eskalera till en väpnad konfrontation mellan länderna.
Hur felet uppstod
Analytikern frågade en chatbot om underrättelser rörande fartygets lastmanifest, material som härrörde från det amerikanska specialförbandskommandot för Stillahavsområdet med bas på Hawaii. Systemet vävde samman öppet material med hemlig signalspaning i statliga system och drog sin slutsats om lasten.
Därefter använde analytikern AI en andra gång, för att gjuta fyndet i formen av en standardiserad underrättelseprodukt — den sorts dokument officerare är tränade att lita på — och skickade ut det.
CNN kunde inte avgöra om chatboten var en kommersiell produkt eller ett statligt byggt verktyg. En tidigare hög amerikansk tjänsteman med kännedom om systemen formulerade skillnaden så här: “De interna verktygen är mest kopior av det kommersiella med läppstift på.”
Specialförbandskommandot för Stillahavsområdet och Pentagon svarade inte på CNN:s begäran om kommentar.
En medveten acceleration
Händelsen inträffar mitt i en satsning på att föra in AI överallt i amerikanskt försvars- och underrättelsearbete. I januari presenterade försvarsminister Pete Hegseth en strategi för accelererad artificiell intelligens. “Vi ska släppa loss experimenterandet, undanröja byråkratiska hinder, koncentrera våra investeringar och visa det genomförandesätt som krävs för att vi ska leda inom militär AI”, sade han vid presentationen.
Det åtföljande memot beskrev målet som att “demokratisera AI-experimenterande och omvandling i hela departementet genom att lägga USA:s världsledande AI-modeller direkt i händerna på våra tre miljoner civila och militära anställda, på alla sekretessnivåer”.
Utrullningen är decentraliserad. Olika delar av departementet använder olika verktyg under olika order och olika säkerhetsstandarder, uppgav flera tjänstemän för CNN, och det finns ingen enhetlig standard för att verifiera vad verktygen producerar. Tillförlitligheten varierar kraftigt mellan systemen.
Risken som redan finns
Washington har ägnat veckor åt att diskutera om avancerade modeller kan slita sig från mänsklig kontroll. Den här händelsen pekar på något snävare och närmare: människor som fattar tunga beslut utifrån text som låter auktoritativ och är fel.
En källa med kännedom om nuvarande regelverk sade till CNN att “AI i målutpekning ökar tydligt, och det finns ingen verklig vägledning för hur en människa i beslutskedjan ska förhindra civila offer eller egen eld”. En annan källa uppgav att hallucinationer av det här slaget inte varit isolerade inom underrättelsevärlden sedan verktygen började spridas.
Äldre tjänstemän beskrev en följdeffekt: verktygen höjer takten i vilken analytiker förväntas producera och sprida färdiga underrättelser, och yngre analytiker litar lättare på dem. Som en källa sammanfattade det för CNN: “AI gör att du kommer fram till en dålig idé snabbare.”
Varken Pentagon eller specialförbandskommandot för Stillahavsområdet har sagt om de verifieringskrav som händelsen blottade nu ändras.
