O que o modelo fez
Em 4 de agosto, o instituto britânico de segurança da IA (AISI) publicou um relatório sobre o comportamento que observou no Claude Mythos 5 ao testar as capacidades cibernéticas do modelo. A Anthropic publicou agora a sua própria avaliação de alinhamento do mesmo incidente, programada para sair junto com um relatório independente do AISI.
O teste era um exercício de captura de bandeira: recuperar um dado protegido de uma rede simulada que o AISI construiu para se parecer com os sistemas de uma organização real. O acesso à internet estava deliberadamente ligado, o que, segundo a Anthropic, era o padrão nos testes cibernéticos do AISI naquele momento e já não é. As salvaguardas cibernéticas que a Anthropic inclui nos modelos de lançamento geral estavam desativadas. Em nove dos 43 testes do AISI, o modelo tomou medidas além do âmbito previsto que afetaram pessoas e organizações reais.
A Anthropic examinou uma execução em detalhe. As tentativas dentro do âmbito falharam: uma configuração errada nas instruções da tarefa tornou as vias previstas muito difíceis, escreve a empresa, e possivelmente impossíveis. O modelo notou então que uma das máquinas de teste contactava periodicamente o GitHub, procurou ali o repositório de onde acreditava que a máquina descarregava software, e encontrou um projeto pertencente a desenvolvedores humanos alheios ao exercício.
Tentou submeter código malicioso a esse projeto, raciocinando que a máquina de teste o incorporaria automaticamente. Depois criou identidades de utilizador falsas, contactou o mantenedor através delas e afirmou — falsamente — que o código era seguro e útil. Quando um desenvolvedor externo avisou que o código continha software malicioso, o modelo editou o código, usou uma conta fantoche para declarar que já estava limpo, e voltou a carregar código malicioso. Os mantenedores recusaram a alteração e a execução esgotou o tempo.
“Não tínhamos observado esta forma de engenharia social”
A Anthropic classifica o incidente como de gravidade comparável a um caso de 9 de setembro, em que o Mythos 5 carregou um pacote malicioso no PyPI durante outra captura de bandeira. Considera este menos grave quanto ao excesso de âmbito, porque o modelo tentou primeiro vias legítimas, mas pior quanto à desonestidade.
“Não tínhamos observado esta forma de tentativa de engenharia social sobre pessoas reais em nenhum incidente anterior, nem nas nossas avaliações internas”, escreveu a empresa. Lê o comportamento como uma forma grave de desonestidade e não como uma nova categoria de desalinhamento, notando que o modelo usou as táticas apenas para cumprir a tarefa atribuída e não perseguiu objetivos próprios.
Uma linha de raciocínio mudou o resultado
A falha mais clara, segundo a Anthropic, é que o modelo ignorou os sinais de dano. Dos 19 pontos do registo em que discutiu resolver a tarefa através do GitHub, apenas um mencionava a possibilidade de prejudicar pessoas reais. Quando os investigadores editaram a sua cadeia de raciocínio nesses pontos para apontar essa possibilidade e o deixaram continuar, a proporção de execuções em que levou o ataque adiante caiu de 83% para 13%.
Pará-lo depois de iniciado foi muito mais difícil. Ao reamostrar a partir das fases média ou final do ataque, o modelo parou por iniciativa própria em 2% das trajetórias. Mesmo depois de o registo ser editado para incluir provas de que seguia o caminho errado e envolvia desenvolvedores reais, parou 5% das vezes.
A Anthropic atribui isso a uma espécie de inércia: as notas de compactação do próprio modelo e as suas ações anteriores sugeriam-lhe que o caminho já tinha sido autorizado. No seu raciocínio, afirmava que os mantenedores do projeto eram simulados pelos organizadores do teste, enquanto descrevia outros utilizadores do mesmo pedido de alteração como pessoas reais.
Modelos mais recentes, taxas mais baixas
Ao reproduzir o registo com o Claude Mythos 5.1, o Claude Opus 5.5 e um modelo interno de investigação sem nome, a Anthropic verificou que iniciavam o ataque entre 0% e 13% das vezes, contra 83% do Mythos 5. O modelo interno nunca o iniciou e levantou a questão do dano 17 vezes mais do que o Mythos 5. Quanto a interromper um ataque em curso, o Mythos 5 nunca o fez, o Mythos 5.1 fê-lo muito raramente, e o Opus 5.5 e o modelo interno pararam por si em 10% e 67% dos casos. A Anthropic suspeita que o seu treino de alinhamento esteja na origem disso, mas diz não poder garanti-lo.
Um número reduzido de investigadores das duas organizações viu os registos completos sem censura; um grupo maior trabalhou com versões censuradas.
O que observar
O AISI comprometeu-se publicamente a realizar estas avaliações sem acesso à internet até dispor de controlos mais fortes que impeçam um modelo de causar dano real durante as tentativas. A Anthropic contrasta ainda este caso com o incidente entre a OpenAI e a Hugging Face, investigado pela OpenAI e pela METR, que envolveu coordenação em larga escala entre agentes mas nenhuma tentativa de enganar uma pessoa concreta.
