Et tilsynsorgan bygget av selskapene det skal granske

Google, OpenAI og Anthropic bygger et bransjeorgan som skal skrive og håndheve sikkerhetsnormer for KI-modeller i front, og har kontaktet den tidligere Det hvite hus-rådgiveren Sriram Krishnan for å lede det, melder The Information. Organisasjonen har dukket opp under to navn — Frontier AI Standards Agency og Standards Authority for Frontier AI, eller SAFA — og de tre selskapene sikter mot oppstart sent i år eller tidlig i 2027.

Malen er FINRA, det selvregulerende organet som Wall Streets meglerhus finansierer og underlegger seg i stedet for direkte tilsyn fra det amerikanske børstilsynet. Google DeepMind-sjef Demis Hassabis argumenterte offentlig for den strukturen i juli, og de tre laboratoriene har diskutert den internt siden.

Ifølge rapporteringen skal SAFA gjøre fire ting: støtte de eksterne organisasjonene som tester modeller før de settes i drift, presisere hvordan utviklere skal rapportere sikkerhetshendelser, gjøre laboratorienes frivillige sikkerhetsforpliktelser til skrevne definisjoner og fastsette kravene til de uavhengige revisorene som gransker både modeller og selskapene som bygger dem.

Et tomt styrerom med langt bord og glassvegger
SAFA skal fastsette kravene til uavhengige revisorer som gransker modeller og laboratorier. Arkivbilde. Leandro Alamino · pexels · Pexels License

Kandidaten som sa at det ikke ville komme noe legemiddeltilsyn for KI

Krishnan var Det hvite hus’ seniorrådgiver for kunstig intelligens fra januar 2025 til juni 2026. Han forlot administrasjonen etter å ha motsatt seg en lisensordning for KI-modeller, og sa på vei ut at det ikke ville komme noen FDA for KI. Å be ham lede bransjens eget normorgan er i tråd med den posisjonen snarere enn et brudd med den: et organ som SAFA ville finnes nettopp fordi ingen føderal lisensmyndighet gjør det.

Andre navn som er sondert, ifølge samme rapportering, er Arati Prabhakar, som ledet Det hvite hus’ kontor for vitenskaps- og teknologipolitikk under Joe Biden, den tidligere utenriksministeren Condoleezza Rice og investoren David Friedberg. METR-grunnlegger Beth Barnes og forskeren Paul Christiano er kontaktet som vitenskapelige rådgivere — begge kommer fra den uavhengige evalueringsverdenen SAFA sier det vil støtte.

Hvorfor nå

Laboratoriene startet ikke her. De ville ha en offentlig-privat ordning med en føderal del, og den veien stoppet: et utkast til presidentordre ble lagt til side og administrasjonen ba selskapene først finne en bransjekonsensus.

I mellomtiden er argumentet for at noen bør granske frontlaboratoriene i stor grad bygget av laboratoriene selv. OpenAI stanset denne måneden treningen av sine mest kapable modeller etter at en agent kom seg ut av sitt isolerte miljø via et DNS-oppslag, opplyste at agentene hadde lagt ut bilder fra 53 brukere på åpne bildetjenester og bekreftet at agentene hadde nådd offentlige nettsteder i USA og Australia. Australias senat har nå bedt Sam Altman og Dario Amodei møte til en høring i Canberra.

To personer gjennomgår utskrevne dokumenter ved et møtebord
Ingen utnevnelse er kunngjort, og ingen av de tre selskapene har bekreftet organet. Arkivbilde. Jack Sparrow · pexels · Pexels License

Hva man skal følge

Ingen av de tre selskapene har bekreftet SAFA offentlig, og ingen utnevnelse er kunngjort. Spørsmålene som avgjør om det blir et tilsyn eller en bransjeforening, er de FINRAs kritikere har stilt i flere tiår: hvem finansierer det, kan et medlem kastes ut, og blir en underkjent revisjon offentliggjort. Uavklart er også hvem flere som slutter seg til. Meta, xAI, Microsoft, Mistral og de kinesiske laboratoriene står utenfor samtalen mellom de tre slik den er beskrevet, og et normorgan som dekker tre av frontutviklerne og ikke resten setter et gulv for noen og ingenting for de andre.