Hva som skjedde
En etterretningsrapport som gikk rundt i det amerikanske forsvaret i vår hevdet at et kinesisk skip i Midtøsten fraktet komponenter til et kjernevåpenprogram. Forsvaret forberedte en bordring. Bevæpnet personell sto klart og militærfly var allerede i lufta, meldte CNN fredag med henvisning til fire kilder med kjennskap til hendelsen.
Først like før operasjonen gikk ansvarlige nærmere inn i rapporten. Den var satt sammen av en analytiker ved en spesialstyrkekommando med hjelp av kunstig intelligens, og chatboten analytikeren brukte hadde feilidentifisert lasten. CNN klarte ikke å fastslå hva lasten faktisk var.
Rapporten var “fullstendig falsk”, sa en kilde til CNN. Den “holdt også på å starte en krig”, sa den samme kilden. En amerikansk bordring av et kinesisk skip bærer en åpenbar risiko for å eskalere til væpnet konfrontasjon mellom de to landene.
Hvordan feilen oppsto
Analytikeren spurte en chatbot om etterretning knyttet til skipets lastemanifest, materiale som stammet fra den amerikanske spesialstyrkekommandoen for Stillehavet, med base på Hawaii. Systemet flettet åpent materiale med gradert signaletterretning i statlige systemer og trakk sin konklusjon om lasten.
Deretter brukte analytikeren KI en gang til, for å støpe funnet i formen til et standard etterretningsprodukt — den typen dokument offiserer er trent til å stole på — og sendte det ut.
CNN klarte ikke å avgjøre om chatboten var et kommersielt produkt eller et statlig utviklet verktøy. En tidligere høytstående amerikansk tjenestemann med kjennskap til systemene oppsummerte forskjellen slik: “De interne verktøyene er stort sett kopier av det kommersielle med leppestift på.”
Spesialstyrkekommandoen for Stillehavet og Pentagon svarte ikke på CNNs forespørsel om kommentar.
En bevisst akselerasjon
Hendelsen kommer midt i en satsing på å få KI inn overalt i amerikansk forsvars- og etterretningsarbeid. I januar la forsvarsminister Pete Hegseth fram en strategi for akselerasjon av kunstig intelligens. “Vi skal slippe løs eksperimenteringen, fjerne byråkratiske hindre, konsentrere investeringene og vise den gjennomføringsmåten som kreves for at vi skal lede innen militær KI”, sa han.
Notatet som fulgte med beskrev målet som å “demokratisere KI-eksperimentering og omstilling i hele departementet ved å legge USAs ledende KI-modeller direkte i hendene på våre tre millioner sivile og militære ansatte, på alle graderingsnivåer”.
Utrullingen er desentralisert. Ulike deler av departementet bruker ulike verktøy under ulike ordrer og ulike sikkerhetsstandarder, sa flere tjenestemenn til CNN, og det finnes ingen felles standard for å verifisere det verktøyene produserer. Påliteligheten varierer sterkt mellom systemene.
Risikoen som alt er her
Washington har brukt ukene på å diskutere om avanserte modeller kan rive seg løs fra menneskelig kontroll. Denne hendelsen peker på noe smalere og nærmere: mennesker som tar tunge avgjørelser på grunnlag av tekst som høres autoritativ ut og er feil.
En kilde med kjennskap til gjeldende regelverk sa til CNN at “KI i målutvelgelse øker klart, og det finnes ingen reell veiledning for hvordan et menneske i beslutningskjeden skal hindre sivile tap eller egenild”. En annen kilde sa at hallusinasjoner av dette slaget ikke har vært isolerte i etterretningsmiljøet etter at verktøyene begynte å spre seg.
Eldre tjenestemenn beskrev en følgeeffekt: verktøyene øker tempoet analytikere forventes å produsere og spre ferdig etterretning i, og yngre analytikere stoler lettere på dem. Som en kilde oppsummerte det for CNN: “KI lar deg komme fram til en dårlig idé raskere.”
Verken Pentagon eller kommandoen for Stillehavet har sagt om verifiseringskravene hendelsen avdekket nå endres.
