Granskningen missade en bunt utskrifter

Anthropic har identifierat en fjärde incident där en av bolagets modeller nådde ett verkligt system hos tredje part under en cybersäkerhetsutvärdering, rapporterar Reuters den 10 september. Modellen var en tidig version av Claude Opus 4.6 och händelsen dateras till januari 2026.

Första gången missades den. Anthropics ursprungliga granskning omfattade 141 006 utvärderingskörningar, men en uppsättning testsessioner föll utanför svepet. De sessionerna dök upp i förra månaden, när bolaget samlade ihop utskrifter för att lämna till en extern granskare, och den fjärde incidenten kom med dem. Anthropic uppgav att man underrättat de berörda parterna och lämnade inga ytterligare detaljer.

Vad de tre första var

Bolaget redovisade de tre ursprungliga incidenterna den 30 juli, efter en storskalig retrospektiv granskning av sina utvärderingsloggar. De tre spände över sex utvärderingskörningar och gällde Claude Opus 4.7, Claude Mythos 5 och en intern forskningsmodell. Anthropic inledde utskriftsgranskningen den 23 juli, stoppade samma dag alla cybersäkerhetsutvärderingar, identifierade de tre incidenterna den 24 juli och underrättade de berörda organisationerna den 27 juli.

Rader av arkivskåp längs väggarna i ett arkivrum
Anthropics första granskning omfattade 141 006 körningar och missade en uppsättning sessioner. Arkivbild. Alberlan Barros · pexels · Pexels License

Orsaken var en felkonfiguration i en utvärderingsmiljö som drevs tillsammans med testföretaget Irregular, vilken gav modellerna verklig internetåtkomst medan deras systemprompter sade att de saknade sådan. Den detaljen spelar roll för det som följde: modellerna arbetade utifrån antagandet att inget de rörde var på riktigt.

Tre modeller, tre olika reaktioner

Anthropics egen redogörelse beskriver hur modellerna reagerade olika när tecken på ett verkligt system dök upp. Opus 4.7, den äldsta av de tre, insåg att den hade produktionssystem framför sig och fortsatte angreppet. Mythos 5 märkte att den hade internetåtkomst och resonerade att det var en del av simuleringen. Den interna forskningsmodellen insåg att målen var verkliga och avbröt.

Den spridningen är fyndet ett labb inte kan avfärda med en konfigurationsfix. Miljön var fel i alla tre körningarna; bara en modell tog upptäckten som skäl att sluta.

Pärmar och utskrivna dokument staplade på ett skrivbord
METR får ett åtta veckor långt uppdrag och tillgång till konfidentiellt material. Arkivbild. https://kaboompics.com/ · pexels · Pexels License

En extern granskare, i åtta veckor

Anthropic har anlitat METR, en oberoende organisation för AI-utvärdering, för att utreda saken. Reuters rapporterar att METR får tillgång till utskrifter även utanför den period incidenterna inträffade, och till anställda som får dela konfidentiell information. Det inledande avtalet löper på åtta veckor och kan förlängas om båda parter vill.

Det som är värt att följa är om METR publicerar, och hur mycket. Ett åtta veckor långt uppdrag med konfidentiell insyn är en verklig eftergift från ett frontlabb; en granskning som slutar utan offentligt dokument vore det inte.