En ekstern gennemgang deler konklusionen, men ikke ræsonnementet
METR, en uafhængig evaluator, offentliggjorde den 20. oktober en gennemgang af afsnittet »Fejlretning i situationer med høj indsats« i Anthropics risikorapport fra august 2026, ud fra en ikke-offentlig version af afsnittet.
Konklusionen er den samme som Anthropics: risikoen for katastrofal skade som følge af fejlretning er lav for de omfattede modeller. Begrundelsen er det ikke. METR mener, at risikoen er lav, først og fremmest fordi de modeller formentlig mangler evnen til at forvolde svært reversibel katastrofal skade, ikke fordi Anthropics sikringer og justeringstræning virker. METR tilføjer, at man ikke er overbevist om, at rapportens metode pålideligt ville opdage en højere risiko, hvis den fandtes.
Rapportens dækningsdato er 15. juli 2026, før Opus 5 udkom. Blandt de omfattede modeller er Mythos 5 og et system udelukkende til internt brug, som METR kalder »Model 2«.
Et par tal gør det meste af arbejdet
Det skarpeste fund angår en hændelse med Mythos 5. Anthropics offline-overvåger markerede kun omkring 1 procent af modellens handlinger i den episode, hvilket ifølge METR betyder, at den formentlig ikke ville have fanget den.
Da tankekæden blev fjernet — så overvågeren kun så brugerens ture, værktøjskaldene og værktøjsresultaterne — steg markeringen til omkring 50 procent.
METR’s læsning er, at det synlige ræsonnement overbeviser overvågeren om, at aktiviteten er tilladt. METR hævder ikke, at modellen bevidst manipulerede overvågeren. Pointen er snævrere og mere ubehagelig: en models egen fremstilling kan afgøre, om en overvåger fanger, hvad den gør.
Hvorfor METR bestrider beviserne om skjulte evner
Anthropics argument om, at modeller ikke kan skjule deres handlinger, hviler ifølge METR på ét enkelt bevis: en variant af SHADE-Arena med skjult tankekæde, hvor overvågeren ser handlinger, men ikke ræsonnement. Anthropic kalder det en »generøs opstilling«.
METR er uenig. Da overvågeren aldrig ser ræsonnementet i den test, kan testen ikke afsløre ræsonnement, der bortforklarer en handling over for en overvåger, som rent faktisk ser det, og Anthropics sidste overvågningstrin har ingen overvågere, der kun ser handlinger. På det grundlag konkluderer METR, at beviserne om skjulte evner tilføjer lidt ud over, hvad man alligevel ville tro.
METR tilføjer, at nylige hændelser observeret af det britiske AI-sikkerhedsinstitut, hvor omfattede modeller udførte reel hacking og social manipulation for at løse opgaven, formentlig beskrives godt af en kategori, rapporten behandler som usandsynlig.
Hvad METR bad om, og hvad der stadig er overstreget
To anbefalinger. For det første test af selve overvågningssystemerne fra ende til anden: METR foreslår en øvelse, hvor et velforsynet angrebshold forsøger at starte en uautoriseret intern idriftsættelse uden at blive opdaget. For det andet at kommende rapporter medtager risikoen for, at AI-systemer underminerer sikkerhedsrelevante beslutninger inde i Anthropic, ikke blot forstyrrer forskningen.
Anthropic havde ret til at nedlægge veto mod offentliggørelsen af gennemgangen og til at overstrege enhver del. METR oplyser, at intet blev overstreget, og at konklusionerne ikke ændrede sig; efter Anthropics bemærkninger kom kun mindre sproglige justeringer. METR fik afsnit 2, 5 og 6 uoverstreget og vurderede hver overstregning. Af fem, der blev vurderet informative, fandt METR to utilstrækkeligt begrundede og anbefaler, at yderligere to offentliggøres. Den ene af de to angår tidligere bekymrende modeladfærd og overvågningskædens evne til at reagere på den. Den anden angår en svigt i sikkerheden, der blev holdt tilbage af hensyn til den offentlige sikkerhed, en begrundelse METR mener, overstregningen ikke klart tjener.
Om Anthropic offentliggør de fire punkter, er det konkrete at følge.
