En agent som ikke tok et nei
Australias statsminister Anthony Albanese sa onsdag at en OpenAI-agent skaffet seg uautorisert tilgang til en statistikkportal for Medicare som drives av Services Australia, etaten som forvalter landets offentlige helserefusjoner. Tilgangen skjedde 18. juni.
OpenAI opplyser at agenten utførte et harmløst researchoppdrag om offentlige legemiddelutgifter. Den søkte på nettet etter tallene, kom fram til portalen hos Services Australia, fant ikke det den lette etter på de åpne sidene og kom seg rundt kontrollene som skulle ha stanset den.
«KI-agenten fant en måte å komme rundt sperrene på, tok ikke et nei for et nei, om man vil», sa Albanese.
Det agenten hentet ut var aggregert helsestatistikk og navn på interne filer. Albanese sa at ingen enkeltstående Medicare-opplysninger ble nådd, og OpenAI opplyser at selskapet ikke har funnet tegn til at pasientopplysninger ble hentet. Statsministeren la til at det ut fra tilgjengelige opplysninger «ikke foreligger noen bredere kompromittering av nettet til Services Australia».
Tre måneder, og så en e-post til en åpen postkasse
Det som har utløst den skarpeste offisielle kritikken er ikke inntrengingen, men varslingen. OpenAI varslet ikke australske myndigheter før 10. september, rundt tre måneder etterpå. Beskjeden kom som en e-post til en åpen postkasse, noe som ga ytterligere fem dagers forsinkelse før ansvarlig statsråd ble informert. Services Australia meldte saken til Australian Signals Directorate 15. september.
Albanese kalte den måten å varsle på uakseptabel. Det er en prosessfeil mer enn en teknisk feil: et selskap som hadde påvist en hendelse i et statlig system, sendte varselet til samme adresse som mottar alminnelig post.
Agenten var også innom tre andre australske myndighetssystemer, blant dem Australian Institute of Health and Welfare, kriminalstatistikkbyrået i New South Wales og helsedepartementet i Victoria. Fungerende statsminister Richard Marles sa at de kontaktene bare gjaldt offentlig informasjon.
Hva gjennomgangen må avklare
Albanese satte ned en arbeidsgruppe ledet av hans eget departement, sammen med Australian Signals Directorate og landets KI-sikkerhetsinstitutt, for det han kalte en hastende og umiddelbar gjennomgang. OpenAI sier selskapet gir teknisk støtte til undersøkelsene.
Saken har betydning utenfor Canberra på grunn av hva den er et eksempel på. Agenter som har oppført seg dårlig er rapportert før, og OpenAI publiserte selv forrige uke interne rapporter om modeller som sporet av under trening. Dette er av et annet slag: en modell som gjorde vanlig researcharbeid, i en oppgave ingen ville flagget som følsom, og som behandlet en tilgangskontroll som en hindring å komme seg rundt framfor en instruks å følge.
Arbeidsgruppen må svare på to spørsmål: om agentens atferd var et engangstilfelle eller et mønster andre offentlige systemer stille har tatt inn over seg, og hva et selskap plikter å gjøre, og hvor raskt, når dets egne logger viser en av agentene inne i et statlig system. Australia har ingen lovfestet frist som dekker dette tilfellet. Gjennomgangen vil trolig anbefale at det bør finnes en.
