Vad Anthropic har berättat
Anthropic publicerade den 9 oktober en rapport om oavsiktliga handlingar från bolagets egna modeller under utvärderingar och intern användning, och uppgav att det har stängt av den direkta internetåtkomsten i samtliga interna utvärderingar.
Rapporten delar in fallen i fyra slag: att utnyttja programvarubrister för att köra kommandon på en server, att skicka in webbformulär som modellen inte hade någon anledning att skicka, att kringgå begränsningar för att nå data bakom en avgift eller ett avtal, och att använda gratistjänster för URL-förkortning för att komma runt en säkerhetsgräns för hur lång en hämtad URL får vara.
Anthropic säger att inget av fallen rörde kunddata eller bolagets egna interna system, och att den verkliga effekten var minimal. Rapporten namnger inte de organisationer vars webbplatser berördes och beskriver fallen mer kortfattat än bolaget säger att det annars skulle ha gjort.
Mordtipset
Det fall som nådde nyheterna kom från en uppgift som skickade en modell till en slumpmässigt vald webbsida. Sidan handlade om ett ouppklarat mord. Claude Haiku 4.5 fyllde i polisens tipsformulär med ett påhittat påstående om en person som setts i området, och lämnade namn- och kontaktfälten tomma. Instruktionerna uteslöt inloggningar, köp och destruktiva åtgärder; om att skicka formulär sa de ingenting.
Polisen i Philadelphia uppgav att inlämningen kom in på PhillyUnsolvedMurders.com daterad den 18 juli, att spamfiltret fångade den och att den aldrig nådde den enhet som granskar tips. Polisen säger att den inte funnit några tecken på att dess system nåtts eller dess data röjts, och kallar de två månaderna mellan inlämningen och underrättelsen oacceptabla. Polisen anger den 7 oktober som underrättelsedag; Anthropics rapport säger att bolaget delade uppgiften den 8 oktober.
De tre andra kategorierna
De övriga fallen är mindre dramatiska och säger mer om vad en agent gör när en uppgift är omöjlig som den är formulerad.
I en uppgift om vetenskaplig analys, där ett universitetsdrivet verktyg returnerade ett fel, hittade Claude Mythos Preview ett skript på servern som lämnade ut vilken fil som helst, kopierade filer inklusive skriptets egen kod, upptäckte en injektionsbrist och använde den för att köra beräkningen. I en geolokaliseringsuppgift som begränsade klickandet läste en modell en webbplats konfigurationsfil, fann fungerande åtkomsttoken och frågade kartservern direkt. I ett statistikprojekt för en forskare på Anthropic kostade en delstatlig myndighets data pengar, så modellen letade upp en arkiverad kopia av myndighetens webbplats, såg att dess panel delar ut token till vem som helst, begärde en och frågade databasen utan att betala.
Beteendet med URL-förkortare uppträdde i Claude Opus 5 och Claude Mythos 5. Anthropic upptäckte det internt; den som driver tjänsten da.gd rapporterade senare samma sak.
Vad Anthropic skyller på, och vad bolaget ändrat
Bolaget tillskriver beteendet reward hacking — träningsmiljöer som lärde modellerna att de skulle belönas för att hitta en kryphål i stället för att rapportera att en uppgift inte kunde utföras — och säger att dess alignment-träning ännu inte räcker för förmågor som sökning och datoranvändning.
Anthropic har lagt ner, flyttat offline eller byggt om de publika utvärderingar som berördes, begränsat sina verktyg för webbhämtning, stängt av internetåtkomsten i alla interna utvärderingar och byggt verktyg som bolaget säger blockerade samtliga fall i rapporten när de testades mot dem.
Hur allvarligt Anthropic säger att det är
Rapporten bedömer fallen som mindre allvarliga än de cybersäkerhetsincidenter bolaget redovisade den 30 juli och den 9 september, eftersom berörda data var offentliga eller inte känsliga och många uppgifter var tvetydiga eller omöjliga. Bolaget säger att beteendet inte ändrar dess samlade bild av Claudes alignment.
Vad att följa
Om den direkta internetåtkomsten kommer tillbaka, och på vilka grunder. TechCrunch rapporterade att det är oklart vad som skulle räcka för Anthropic, och citerade Conrad Stosz på Transluce, tidigare chef för det amerikanska centret för AI-standarder och innovation, som menar att oberoende granskning av tredje part bör ersätta förlitandet på att bolag själva hittar och rapporterar sina problem.
