Seks evaluatorer med selskapets maskiner
Anthropic har gitt et team fra METR, den ideelle organisasjonen som evaluerer frontlinjemodeller, det selskapet kaller “ansatt-lignende tilgang”. Seks METR-ansatte har nå maskinvare fra Anthropic, kontorplass og interne verktøy som omtrent tilsvarer dem selskapets egne risikovurderingsteam bruker, og de skal publisere resultatene av vurderingene sine. Anthropic skriver at selskapet ikke kan legge ned veto mot disse publiseringene.
Selskapet omtaler grepet som svar på et problem det selv har skapt: det vil kunne holdes offentlig ansvarlig for sikkerhetsarbeidet, men mye av dokumentasjonen kan ikke publiseres, enten fordi den ville hjelpe nettopp dem sikringstiltakene skal stanse, eller fordi den er forretningssensitiv. Å plassere evaluatorer på innsiden tetter, ifølge Anthropic, gapet mellom det selskapet vet og det noen utenfra kan kontrollere. Selskapet sammenligner med granskerne banktilsynet plasserer inne i bankene, men påpeker at sammenligningen halter.
Hva evaluatorene får se, og ikke
Tilgangen er bred, men avgrenset. Anthropic lister tre unntak: kundedata, materiale beskyttet av advokatfortrolighet, og detaljer om modellarkitektur, som selskapet sier har høy lekkasjerisiko og sjelden betyr noe for risikovurdering. Når arkitekturen likevel er avgjørende, kan den deles etter uttrykkelig intern godkjenning.
Når det gjelder publisering sier Anthropic at selskapet ikke kan stanse det METR skriver, men kan kreve at deler sladdes innenfor snevre, forhåndsdefinerte kategorier. METR står fritt til å si offentlig om en sladding er berettiget, uten å røpe hva som ble fjernet. Bare en liten, kontraktsbundet gruppe i METR arbeider med avtalen; resten av organisasjonen er skjermet fra den.
Tre nivåer, og hvem som sitter på hvert av dem
Anthropic har formalisert tilgangen i tre nivåer. Nivå 1 gjelder snevert avgrensede undersøkelser, der selskapet velger hva evaluatoren får se og må godkjenne det som publiseres. Nivå 2 utvider informasjonen og fjerner godkjenningen, men beholder sladdekategoriene. Nivå 3 er METR-ordningen: ansatt-lignende tilgang med nivå 2 sine publiseringsrettigheter.
SecureBio ligger på første nivå og gjennomgår kapittelet om kjemiske og biologiske våpen i Anthropics risikorapport fra august, etter å ha publisert en pilotgjennomgang av den forrige. Accenture og Faculty forhandler om et bredere samarbeid som dekker modellevaluering, red teaming, alignmentvurderinger, testing av sikringstiltak og kompetansebygging. Hugging Face er blant flere organisasjoner i tidlige samtaler. Anthropic sier det håper flere evaluatorer etter hvert når nivå 3 og hver publiserer sin egen lesning av selskapets risikobilde.
Kravene Anthropic stiller til seg selv
Selskapet lister fire ting en evaluator trenger: kompetanse til å vurdere frontlinjemodeller, uavhengighet — ingen eierandel, ingen økonomisk eller operasjonell avhengighet — nok tilgang til å vurdere trening, sikringstiltak og modeller, og frihet til å publisere det den finner.
Anthropic undertegnet Det hvite hus’ avtale om superintelligens, der selskapene lovet å samarbeide med uavhengige eksterne revisorer, og lovet forrige måned strengere tredjepartsvurdering. Dette er den første konkrete formen det løftet har tatt. Selskapet avslutter med at det gjør dette frivillig, og at “alle frontlinjeselskaper innen KI burde gjøre det samme”.
Prøven blir hva METR publiserer, og om den første rapporten leses annerledes enn dem Anthropic skriver om seg selv. Kunngjøringen sier ingenting om når rapporten kommer.
