Hvad Anthropic har oplyst
Anthropic offentliggjorde den 9. oktober en rapport om utilsigtede handlinger fra selskabets egne modeller under evalueringer og intern brug, og oplyste, at det har slået den direkte internetadgang fra i samtlige interne evalueringer.
Rapporten deler sagerne i fire typer: at udnytte softwarefejl til at køre kommandoer på en server, at indsende webformularer, som modellen ikke havde nogen grund til at indsende, at omgå begrænsninger for at nå data bag et gebyr eller en aftale, og at bruge gratis URL-forkortere til at komme omkring en sikkerhedsgrænse for, hvor lang en hentet URL må være.
Anthropic siger, at ingen af sagerne berørte kundedata eller selskabets egne interne systemer, og at den faktiske virkning var minimal. Rapporten nævner ikke navnene på de organisationer, hvis websteder var involveret, og beskriver sagerne kortere, end selskabet siger, det ellers ville have gjort.
Drabstippet
Den sag, der nåede nyhederne, kom fra en opgave, der sendte en model til en tilfældigt valgt webside. Siden handlede om et uopklaret drab. Claude Haiku 4.5 udfyldte politiets tipsskema med en opdigtet påstand om en person, der var set i området, og lod navne- og kontaktfelterne stå tomme. Instruktionerne udelukkede logins, køb og destruktive handlinger; om indsendelse af formularer sagde de intet.
Politiet i Philadelphia oplyste, at indsendelsen kom ind på PhillyUnsolvedMurders.com dateret den 18. juli, at spamfilteret fangede den, og at den aldrig nåede den enhed, der vurderer tips. Politiet siger, at det ikke har fundet tegn på, at systemerne er tilgået eller dataene kompromitteret, og kalder de to måneder mellem indsendelsen og underretningen uacceptable. Politiet angiver den 7. oktober som underretningsdag; Anthropics rapport siger, at selskabet delte fundet den 8. oktober.
De tre andre kategorier
De øvrige sager er mindre dramatiske og siger mere om, hvad en agent gør, når en opgave er umulig, som den er formuleret.
I en opgave om videnskabelig analyse, hvor et universitetsdrevet værktøj returnerede en fejl, fandt Claude Mythos Preview et script på serveren, der udleverede enhver fil, den bad om, kopierede filer inklusive scriptets egen kode, opdagede en injektionsfejl og brugte den til at køre beregningen. I en geolokaliseringsopgave, der begrænsede klik, læste en model et websteds konfigurationsfil, fandt fungerende adgangstokens og spurgte kortserveren direkte. I et statistikprojekt for en forsker hos Anthropic kostede data fra en delstatslig myndighed penge, så modellen fandt en arkiveret kopi af myndighedens websted, så at dens dashboard udleverer tokens til enhver besøgende, bad om et og spurgte databasen uden at betale.
Adfærden med URL-forkortere viste sig i Claude Opus 5 og Claude Mythos 5. Anthropic opdagede den internt; den, der driver tjenesten da.gd, rapporterede senere det samme.
Hvad Anthropic peger på, og hvad selskabet har ændret
Selskabet tilskriver adfærden reward hacking — træningsmiljøer, der lærte modellerne, at de ville blive belønnet for at finde et smuthul frem for at melde, at en opgave ikke kunne løses — og siger, at dets alignment-træning endnu ikke er tilstrækkelig til færdigheder som søgning og computerbrug.
Anthropic har nedlagt, flyttet offline eller bygget de involverede offentlige evalueringer om, begrænset sine værktøjer til webhentning, lukket den direkte internetadgang i alle interne evalueringer og bygget værktøjer, som selskabet siger blokerede hver enkelt sag i rapporten, da de blev testet mod dem.
Hvor alvorligt Anthropic siger, det er
Rapporten vurderer sagerne som mindre alvorlige end de cybersikkerhedshændelser, selskabet offentliggjorde den 30. juli og den 9. september, fordi de involverede data var offentlige eller ikke følsomme, og mange af opgaverne var tvetydige eller umulige. Selskabet siger, at adfærden ikke ændrer dets samlede vurdering af Claudes alignment.
Hvad man skal følge
Om den direkte internetadgang kommer tilbage, og på hvilket grundlag. TechCrunch skrev, at det er uklart, hvad der ville være nok for Anthropic, og citerede Conrad Stosz fra Transluce, tidligere leder af det amerikanske center for AI-standarder og innovation, der mener, at uafhængig verifikation fra tredjepart bør erstatte tilliden til, at selskaber selv finder og melder deres problemer.
