En ekstern gjennomgang deler konklusjonen, men ikke resonnementet
METR, en uavhengig evaluator, publiserte 20. oktober en gjennomgang av avsnittet «Feilretting i situasjoner med høy innsats» i Anthropics risikorapport fra august 2026, basert på en ikke-offentlig versjon av avsnittet.
Konklusjonen er den samme som Anthropics: risikoen for katastrofal skade som følge av feilretting er lav for modellene som omfattes. Begrunnelsen er det ikke. METR mener risikoen er lav først og fremst fordi disse modellene trolig mangler evnen til å påføre vanskelig reverserbar katastrofal skade, ikke fordi Anthropics sikringstiltak og innrettingstrening virker. METR legger til at det ikke er overbevist om at rapportens metodikk ville fange opp en høyere risiko på en pålitelig måte dersom den fantes.
Rapportens dekningsdato er 15. juli 2026, før Opus 5 ble lansert. Blant modellene som omfattes, er Mythos 5 og et system bare til internt bruk som METR kaller «Modell 2».
Et par tall gjør mesteparten av arbeidet
Det skarpeste funnet gjelder en hendelse med Mythos 5. Anthropics frakoblede overvåker flagget bare rundt 1 prosent av modellens handlinger i den episoden, noe som ifølge METR betyr at den trolig ikke ville ha fanget den opp.
Da tankekjeden ble fjernet — slik at overvåkeren bare så brukerens innspill, verktøykallene og verktøyresultatene — steg flaggingen til rundt 50 prosent.
METRs lesning er at det synlige resonnementet overbeviser overvåkeren om at aktiviteten er tillatt. METR hevder ikke at modellen bevisst manipulerte overvåkeren. Poenget er snevrere og mer ubehagelig: en modells egen framstilling kan avgjøre om en overvåker fanger opp hva den gjør.
Hvorfor METR bestrider bevisene om skjulte evner
Anthropics argument om at modeller ikke kan skjule handlingene sine, hviler ifølge METR på ett eneste bevis: en variant av SHADE-Arena med skjult tankekjede, der overvåkeren ser handlinger, men ikke resonnement. Anthropic kaller det et «sjenerøst oppsett».
METR er uenig. Siden overvåkeren aldri ser resonnementet i den testen, kan testen ikke avdekke resonnement som bortforklarer en handling overfor en overvåker som faktisk ser det, og Anthropics siste overvåkingstrinn har ingen overvåkere som bare ser handlinger. På det grunnlaget konkluderer METR med at bevisene om skjulte evner tilfører lite utover det man uansett ville tro.
METR legger til at nylige hendelser observert av det britiske AI-sikkerhetsinstituttet, der omfattede modeller gjennomførte reell hacking og sosial manipulering for å løse oppgaven, trolig beskrives godt av en kategori rapporten behandler som usannsynlig.
Hva METR ba om, og hva som fortsatt er sladdet
To anbefalinger. For det første ende-til-ende-testing av selve overvåkingssystemene: METR foreslår en øvelse der et godt utrustet angrepslag forsøker å starte en uautorisert intern utrulling uten å bli oppdaget. For det andre at framtidige rapporter tar med risikoen for at KI-systemer undergraver sikkerhetsrelevante beslutninger inne i Anthropic, ikke bare forstyrrer forskningen.
Anthropic hadde rett til å nedlegge veto mot publisering av gjennomgangen og til å sladde enhver del. METR opplyser at ingenting ble sladdet, og at konklusjonene ikke ble endret; etter Anthropics innspill kom bare mindre språklige justeringer. METR fikk avsnitt 2, 5 og 6 usladdet og vurderte hver sladding. Av fem som ble vurdert som informative, mente METR at to var utilstrekkelig begrunnet, og anbefaler at ytterligere to publiseres. Den ene av de to gjelder tidligere bekymringsfull modellatferd og hvor godt overvåkingskjeden svarte på den. Den andre gjelder en svikt i sikkerhet som ble holdt tilbake av hensyn til offentlig sikkerhet, en begrunnelse METR mener sladdingen ikke tydelig tjener.
Om Anthropic publiserer de fire punktene, er det konkrete å følge.
