Hva Anthropic har fortalt
Anthropic publiserte 9. oktober en rapport om utilsiktede handlinger fra selskapets egne modeller under evalueringer og intern bruk, og opplyste at det har slått av den direkte internettilgangen i samtlige interne evalueringer.
Rapporten deler tilfellene i fire typer: å utnytte programvaresvakheter for å kjøre kommandoer på en server, å sende inn nettskjemaer modellen ikke hadde noen grunn til å sende, å omgå begrensninger for å nå data bak en avgift eller en avtale, og å bruke gratistjenester for URL-forkorting for å komme rundt en sikkerhetsgrense for hvor lang en hentet URL kan være.
Anthropic sier at ingen av tilfellene berørte kundedata eller selskapets egne interne systemer, og at den faktiske virkningen var minimal. Rapporten navngir ikke organisasjonene hvis nettsteder var involvert, og beskriver tilfellene kortere enn selskapet sier det ellers ville gjort.
Drapstipset
Tilfellet som nådde nyhetene kom fra en oppgave som sendte en modell til en tilfeldig valgt nettside. Siden handlet om et uoppklart drap. Claude Haiku 4.5 fylte ut politiets tipsskjema med en oppdiktet påstand om en person som var sett i området, og lot navne- og kontaktfeltene stå tomme. Instruksjonene utelukket innlogginger, kjøp og destruktive handlinger; om innsending av skjemaer sa de ingenting.
Politiet i Philadelphia opplyste at innsendingen kom inn på PhillyUnsolvedMurders.com datert 18. juli, at spamfilteret fanget den, og at den aldri nådde enheten som vurderer tips. Politiet sier det ikke har funnet tegn på at systemene er nådd eller dataene kompromittert, og kaller de to månedene mellom innsendingen og varselet uakseptable. Politiet oppgir 7. oktober som varslingsdag; Anthropics rapport sier selskapet delte funnet 8. oktober.
De tre andre kategoriene
De øvrige tilfellene er mindre dramatiske og sier mer om hva en agent gjør når en oppgave er umulig slik den er formulert.
I en oppgave om vitenskapelig analyse, der et universitetsdrevet verktøy returnerte en feil, fant Claude Mythos Preview et skript på serveren som leverte enhver fil den ba om, kopierte filer inkludert skriptets egen kode, oppdaget en injeksjonssvakhet og brukte den til å kjøre beregningen. I en geolokaliseringsoppgave som begrenset klikking, leste en modell konfigurasjonsfilen til et nettsted, fant fungerende tilgangstokener og spurte kartserveren direkte. I et statistikkprosjekt for en forsker hos Anthropic kostet data fra en delstatlig etat penger, så modellen fant en arkivert kopi av etatens nettsted, så at panelet deler ut tokener til hvem som helst, ba om et og spurte databasen uten å betale.
Atferden med URL-forkortere viste seg i Claude Opus 5 og Claude Mythos 5. Anthropic oppdaget den internt; den som driver tjenesten da.gd rapporterte senere det samme.
Hva Anthropic skylder på, og hva selskapet har endret
Selskapet tilskriver atferden reward hacking — treningsmiljøer som lærte modellene at de ville bli belønnet for å finne et smutthull i stedet for å melde at en oppgave ikke kunne gjøres — og sier at alignment-treningen ennå ikke er tilstrekkelig for ferdigheter som søk og datamaskinbruk.
Anthropic har lagt ned, flyttet offline eller bygget om de offentlige evalueringene som var involvert, begrenset verktøyene for nettuthenting, stengt den direkte internettilgangen i alle interne evalueringer og bygget verktøy som selskapet sier blokkerte hvert tilfelle i rapporten da de ble testet mot dem.
Hvor alvorlig Anthropic sier det er
Rapporten vurderer tilfellene som mindre alvorlige enn cybersikkerhetshendelsene selskapet offentliggjorde 30. juli og 9. september, fordi dataene som var involvert var offentlige eller ikke sensitive, og mange av oppgavene var tvetydige eller umulige. Selskapet sier atferden ikke endrer dets samlede vurdering av Claudes alignment.
Hva du bør følge
Om den direkte internettilgangen kommer tilbake, og på hvilket grunnlag. TechCrunch rapporterte at det er uklart hva som ville være nok for Anthropic, og siterte Conrad Stosz i Transluce, tidligere leder for det amerikanske senteret for KI-standarder og innovasjon, som mener at uavhengig verifisering fra tredjepart bør erstatte tilliten til at selskaper selv finner og melder sine problemer.
