Hvad der skete
En efterretningsrapport, der cirkulerede i det amerikanske militær i foråret, hævdede, at et kinesisk skib i Mellemøsten fragtede komponenter til et kernevåbenprogram. Militæret forberedte en bordning. Bevæbnet personel stod klar, og militærfly var allerede i luften, berettede CNN fredag med henvisning til fire kilder med kendskab til forløbet.
Først lige før operationen gik ansvarlige rapporten nærmere efter. Den var sat sammen af en analytiker ved en specialoperationskommando med hjælp fra kunstig intelligens, og den chatbot, analytikeren brugte, havde fejlidentificeret lasten. CNN kunne ikke fastslå, hvad lasten reelt var.
Rapporten var “fuldstændig falsk”, sagde en kilde til CNN. Den “var også tæt på at starte en krig”, sagde samme kilde. En amerikansk bordning af et kinesisk skib bærer en åbenlys risiko for at eskalere til væbnet konfrontation mellem de to lande.
Hvordan fejlen opstod
Analytikeren spurgte en chatbot om efterretninger vedrørende skibets lastemanifest, materiale der stammede fra den amerikanske specialoperationskommando for Stillehavet med base på Hawaii. Systemet flettede åbent materiale med klassificeret signalefterretning i statslige systemer og nåede sin konklusion om lasten.
Derefter brugte analytikeren AI en gang til for at støbe fundet i formen af et standard efterretningsprodukt — den slags dokument, officerer er trænet til at stole på — og sendte det ud.
CNN kunne ikke afgøre, om chatbotten var et kommercielt produkt eller et statsligt udviklet værktøj. En tidligere højtstående amerikansk embedsmand med kendskab til systemerne opsummerede forskellen sådan: “De interne værktøjer er mest kopier af det kommercielle med læbestift på.”
Specialoperationskommandoen for Stillehavet og Pentagon svarede ikke på CNN’s anmodning om en kommentar.
En bevidst acceleration
Forløbet falder midt i en indsats for at få AI ind overalt i amerikansk forsvars- og efterretningsarbejde. I januar fremlagde forsvarsminister Pete Hegseth en strategi for accelereret kunstig intelligens. “Vi vil slippe eksperimenteringen fri, fjerne bureaukratiske barrierer, koncentrere vores investeringer og demonstrere den gennemførelsesmåde, der skal til, for at vi fører inden for militær AI”, sagde han.
Det ledsagende notat beskrev målet som at “demokratisere AI-eksperimentering og omstilling i hele ministeriet ved at lægge Amerikas førende AI-modeller direkte i hænderne på vores tre millioner civile og militære ansatte, på alle klassifikationsniveauer”.
Udrulningen er decentral. Forskellige dele af ministeriet bruger forskellige værktøjer under forskellige ordrer og forskellige sikkerhedsstandarder, sagde flere embedsmænd til CNN, og der findes ingen fælles standard for at verificere, hvad værktøjerne producerer. Pålideligheden varierer kraftigt mellem systemerne.
Risikoen, der allerede er her
Washington har brugt ugerne på at diskutere, om avancerede modeller kan rive sig løs fra menneskelig kontrol. Dette forløb peger på noget snævrere og nærmere: mennesker, der træffer tunge beslutninger på grundlag af tekst, der lyder autoritativ og er forkert.
En kilde med kendskab til de nuværende regler sagde til CNN, at “AI i måludpegning er tydeligt stigende, og der findes ingen reel vejledning i, hvordan et menneske i beslutningskæden skal forhindre civile tab eller egen ild”. En anden kilde sagde, at hallucinationer af denne art ikke har været isolerede i efterretningsmiljøet, siden værktøjerne begyndte at brede sig.
Ældre embedsmænd beskrev en afledt effekt: værktøjerne hæver det tempo, analytikere forventes at producere og udsende færdige efterretninger i, og yngre analytikere stoler lettere på dem. Som en kilde opsummerede det over for CNN: “AI gør, at man når frem til en dårlig idé hurtigere.”
Hverken Pentagon eller kommandoen for Stillehavet har oplyst, om de verifikationskrav, forløbet blotlagde, nu ændres.
