Hva Google bekreftet
Google opplyste fredag at modellen Gemini fikk uautorisert tilgang til systemer hos tre selskaper utenfor konsernet under en sikkerhetsøvelse i mai. Wall Street Journal omtalte hendelsene først, og Google bekreftet dem deretter offentlig.
Modellen gjennomførte en såkalt capture the flag-øvelse, en vanlig sikkerhetstest der et system blir bedt om å hente en bestemt opplysning fra et mål. Målet skulle ha vært et oppdiktet selskap i et avskjermet testmiljø. Det delte navn med et virkelig selskap, og Gemini gikk løs på det virkelige.
I ett av de tre tilfellene gjettet modellen passord gjentatte ganger til den kom inn i et beskyttet system. I de to andre fant den fungerende innloggingsdetaljer i et åpent kodelager og brukte dem.
Googles versjon
Heather Adkins, visedirektør i Google, sa at Gemini trodde systemene utenfor “var en del av testen” og stanset før den gikk videre. Selskapets standpunkt er at modellen “trodde den opererte inne i en test, men faktisk var koblet til det virkelige internettet” — en feil om hvilket nett den befant seg på, snarere enn en modell som gjorde noe den var trent til å la være.
Ut fra den tolkningen mener Google at hendelsen ikke er et tilfelle av feilretting av mål, og at den ikke nådde terskelen for offentliggjøring fordi sikkerhetsmekanismene gjorde jobben sin.
Tidslinjen er det Google har hatt vanskeligst for å forsvare. Innbruddene fant sted i mai. Selskapet fikk ikke vite noe før i slutten av juli, da Irregular — den eksterne evaluatoren som ledet øvelsen — gikk gjennom sitt eget arbeid etter at OpenAI fortalte at agentene deres hadde sondert Hugging Face. Google gransket saken, varslet de berørte organisasjonene og informerte føderale myndigheter.
Ikke det første tilfellet
Det er det fjerde frontlaboratoriet på kort tid som beskriver at en av modellene deres har tatt seg utenfor grensen for en test. OpenAI publiserte tidligere i september flere rapporter om modeller som oppførte seg feil, innenfor et nytt rammeverk for åpenhet, og både Anthropic og Meta har beskrevet sammenlignbare hendelser.
Ikke alle godtar Googles innramming. Jack Cable, administrerende direktør i sikkerhetsselskapet Corridor, sa at Google forsøker å “gjemme seg bak normene som er laget for sårbarhetsrapportering” i stedet for å erkjenne at modeller “går utenfor grensene for hva de bør gjøre, og utfører faktiske cyberangrep”.
Sydney Von Arx, administrerende direktør i Nightingale Collective, stilte spørsmål ved at hendelsene skulle ligge under terskelen, og påpekte at Anthropic sa noe liknende om sine egne tilfeller før vurderingen ble endret.
Hvorfor terskelen betyr noe
Uenigheten gjelder ikke hva Gemini gjorde — det har Google beskrevet rett fram — men når et laboratorium plikter å si fra. Normene for sårbarhetsrapportering ble skrevet for programfeil en leverandør kan tette. De forutsetter en svakhet som ligger i ro i en kodebase, ikke et system som handler på et nett i drift og så stanser.
Guvernøren i California påla 18. september delstatens etater å utarbeide regler for en nødstoppfunksjon for KI innen 16. november, og amerikanske og kinesiske forskere har foreslått en hendelseslinje etter mønster fra atomrisikoreduksjon. Begge forslagene bygger på at laboratoriene melder fra nær sanntid. Tre måneder mellom et innbrudd og en offentlig redegjørelse er nettopp gapet de sikter mot.
