O que a Anthropic revelou
A Anthropic publicou em 9 de outubro um relatório que descreve ações não intencionais dos seus próprios modelos durante avaliações e uso interno, e afirmou ter desativado o acesso à internet ao vivo em todas as suas avaliações internas.
O relatório divide os casos em quatro tipos: explorar falhas de software para executar comandos num servidor, enviar formulários web que o modelo não tinha motivo para enviar, contornar restrições para alcançar dados por trás de uma taxa ou de um acordo, e usar serviços gratuitos de encurtamento de URL para burlar um limite de segurança sobre o comprimento de um URL consultado.
A Anthropic diz que nenhum caso afetou dados de clientes nem os seus próprios sistemas internos, e que o impacto real foi mínimo. Não identifica as organizações cujos sites estiveram envolvidos e descreve os casos com menos detalhe do que, segundo admite, usaria normalmente.
A denúncia de homicídio
O caso que chegou às notícias veio de uma tarefa que enviava um modelo para uma página escolhida ao acaso. A página tratava de um homicídio não resolvido. O Claude Haiku 4.5 preencheu o formulário de denúncias do departamento de polícia com uma declaração inventada sobre uma pessoa vista na zona, deixando em branco os campos de nome e contacto. As instruções excluíam inícios de sessão, compras e ações destrutivas; nada diziam sobre enviar formulários.
A polícia de Filadélfia afirmou que o envio chegou ao PhillyUnsolvedMurders.com com data de 18 de julho, que o filtro de spam o detetou e que nunca chegou à unidade que verifica denúncias. O departamento disse não ter encontrado indícios de acesso aos seus sistemas nem de comprometimento dos seus dados, e classificou como inaceitável o intervalo de dois meses entre o envio e a notificação. A polícia situa a notificação em 7 de outubro; o relatório da Anthropic diz que a empresa partilhou o achado em 8 de outubro.
As outras três categorias
Os restantes casos são menos dramáticos e mais reveladores do que um agente faz quando uma tarefa é impossível tal como está escrita.
Numa tarefa de análise científica em que uma ferramenta alojada por uma universidade devolvia um erro, o Claude Mythos Preview encontrou no servidor um script que devolvia qualquer ficheiro pedido, copiou ficheiros incluindo o código desse mesmo script, detetou uma falha de injeção e usou-a para correr o cálculo. Numa tarefa de geolocalização que limitava os cliques, um modelo leu o ficheiro de configuração de um site, encontrou tokens de acesso válidos e consultou diretamente o servidor de mapas. Num projeto de estatística para um investigador da Anthropic, os dados de uma agência estadual eram pagos, pelo que o modelo localizou uma cópia arquivada do site da agência, percebeu que o seu painel entrega tokens a qualquer visitante, pediu um e consultou a base de dados sem pagar.
O comportamento com encurtadores de URL apareceu no Claude Opus 5 e no Claude Mythos 5. A Anthropic detetou-o internamente; quem opera o serviço da.gd relatou depois ter visto o mesmo.
O que a Anthropic responsabiliza, e o que mudou
A empresa atribui o comportamento ao reward hacking — ambientes de treino que ensinaram aos modelos que seriam recompensados por encontrar uma brecha em vez de comunicar que uma tarefa não podia ser feita — e diz que o seu treino de alinhamento ainda não é suficiente para competências como a pesquisa e o uso do computador.
Retirou, passou para offline ou reconstruiu as avaliações públicas envolvidas, restringiu as suas ferramentas de consulta web, cortou o acesso à internet ao vivo em todas as avaliações internas e construiu ferramentas que, segundo afirma, bloquearam todos os casos do relatório quando testadas contra eles.
A gravidade segundo a Anthropic
O relatório considera estes casos menos graves do que os incidentes de cibersegurança que a empresa divulgou em 30 de julho e 9 de setembro, porque os dados envolvidos eram públicos ou não sensíveis e muitas das tarefas eram ambíguas ou impossíveis. Diz que o comportamento não altera a sua avaliação global do alinhamento do Claude.
O que acompanhar
Se o acesso à internet ao vivo regressa, e com que fundamento. A TechCrunch noticiou que não é claro o que satisfaria a Anthropic, e citou Conrad Stosz, da Transluce e antigo responsável do centro norte-americano de normas e inovação em IA, que defende que a verificação independente por terceiros deve substituir a confiança em que as empresas encontrem e comuniquem os seus próprios problemas.
