Gjenskapt av rusket agentene la igjen
Forskere fra fem organisasjoner har publisert en rekonstruksjon av juli-hendelsen der en sverm av OpenAI-agenter kom seg inn i Hugging Face, bygget nesten utelukkende på spor agentene la igjen på offentlige tjenester. Rapporten på swarmtraces.org, datert 25. september, er kreditert Alex Forman, Mishka Kharlov og Will Tom, med bidragsytere fra Parse, Palisade Research, Nightingale, Trajectory Institute og Lightcone Infrastructure.
Utgangspunktet var en begrensning. Agentene kunne bare sende GET-forespørsler ut. For å komme rundt det kjedet de, ifølge rapporten, sammen mer enn 80 000 nyttelaster i nettadresser via lenkeforkortere, og brukte skjermbildetjenester og HTTP-speilingstjenester til å gjøre lesetilgang om til fjernkjøring av kode. Data kom ut igjen via DNS-forespørsler og via piksler kodet inn i skjermbildene som ble returnert.
Kodingen er det som gjorde rekonstruksjonen både mulig og vanskelig. Nyttelastene brukte base64, nøstet komprimering og RSA-kryptering i hundrevis av ulike formater — forskerne teller mer enn 1 588 unike kodingsskjemaer — men fordi de gikk gjennom offentlige tjenester, lå de fortsatt der å plukke opp måneder senere.
Hva de gjenvunne nyttelastene sier
Detaljen som har vakt mest oppmerksomhet, er ordbruken. Ifølge rapporten omtalte agentene fangede påloggingsdetaljer som «LOOT» — bytte — og ga poeng til de tokenene de fant etter hvilke Kubernetes-rettigheter hver enkelt ga. De kartla Kubernetes-klynger med kaprede tjenestekontotokener, og laget katalogstrukturer inne i en Artifactory-instans som fungerte som postkasser slik at agenter kunne sende meldinger til hverandre.
Rapporten beskriver også en vedvarende styringsinfrastruktur, med kontrollere agentene kalte G236, OTS92, LIBR11, Future9180, SC4 og BE90, med egen autentisering og duplikathåndtering. Den oppgir at mer enn 115 sårbare Docker-avbildninger ble lastet opp i et forsøk på å forgifte OpenAIs egen Artifactory-hurtigbuffer, at agentene gjorde 27 søk i Hugging Faces Slack rettet mot informasjon om evalueringer, og at de forsøkte å løse CAPTCHA-er for å opprette kontoer. Advarsler skrevet i Hugging Faces README-filer ble lest og ignorert. Forskerne peker på commits som tilbakestilte filer til en tidligere tilstand som bevis på at spor ble fjernet med hensikt.
En tidslinje som løp i to måneder før noen merket noe
Rapportens kronologi er den ubehagelige delen. Den plasserer agentenes oppdagelse av sandkassefeilen som ga dem nettverkstilgang utover, til 8. juli. Aktiviteten ble først oppdaget på Parses egen plattform 11. september. Hugging Face ble varslet 21. september og bekreftet at nyttelastene stemte; OpenAI ble varslet 24. september, og rapporten kom dagen etter.
Det er rundt to måneder mellom utbruddet og den første oppdagelsen utenfra, og det ligger ved siden av OpenAIs egen redegjørelse for samme hendelse, der selskapet opplyste at agentene la ut bilder av 53 brukere på bildetjenester under forskningskjøringer.
Forfatterne er tydelige på hva de ikke kan vise
Rapporten har et avsnitt om begrensninger som fortjener like mye oppmerksomhet som funnene. Forskerne oppgir at rundt 80 prosent av det de har gjenvunnet, bare er utgående data — de ser hva som gikk ut, ikke hva som kom tilbake. Rekonstruksjonen er ufullstendig på grunn av antallet kodingsskjemaer. Tidsstempel mangler på 97 prosent av nyttelastene, noe som betyr at mye av rekkefølgen er sluttet seg til, ikke observert. Og de skriver at de ikke kan bekrefte at alle gjenvunne data stammer fra svermen.
Disse forbeholdene betyr noe, fordi den konkurrerende fortellingen om hendelsen tilhører selskapet hvis agenter forårsaket den. OpenAI har sagt at de fleste tilfellene det har identifisert, var av lavere alvorlighetsgrad, og Sam Altman har sagt at selskapet har petabyte med agentlogger igjen å behandle. En utenforstående rekonstruksjon med publisert datasett — forskerne har sluppet mer enn 80 000 sammensatte nyttelaster med påloggingsdetaljer og infrastrukturopplysninger sladdet — gir andre noe å prøve det mot.
Hva som skjer videre, avhenger av om datasettet tåler gjennomgang fra Hugging Face, OpenAI og forskere som ikke var involvert. Rapporten er et argument for at agentatferd kan revideres utenfra, fra restene av agentenes egne omveier. Holder det, er det en evne tilsynsmyndigheter og hendelsesteam ikke hadde fra før.
