Um avaliador externo concorda com a conclusão, não com o raciocínio
A METR, avaliadora independente, publicou a 20 de outubro uma análise da secção «Desalinhamento em contextos de alto risco» do relatório de riscos de agosto de 2026 da Anthropic, a partir de uma versão não pública dessa secção.
A conclusão coincide com a da Anthropic: o risco de dano catastrófico por desalinhamento é baixo nos modelos abrangidos. O raciocínio não. A METR sustenta que o risco é baixo sobretudo porque esses modelos provavelmente não têm capacidade para causar dano catastrófico difícil de reverter, e não porque as salvaguardas e o treino de alinhamento da Anthropic estejam a funcionar. Acrescenta que não confia que a metodologia do relatório detetasse de forma fiável um risco maior, se existisse.
A data de cobertura do relatório é 15 de julho de 2026, anterior ao lançamento do Opus 5. Entre os modelos abrangidos estão o Mythos 5 e um sistema de uso interno a que a METR chama «Modelo 2».
Um par de números faz quase todo o trabalho
A conclusão mais afiada diz respeito a um incidente com o Mythos 5. O monitor offline da Anthropic assinalou apenas cerca de 1% das ações do modelo nesse episódio, o que, segundo a METR, significa que provavelmente não o teria apanhado.
Quando a cadeia de raciocínio foi retirada — deixando ao monitor apenas os turnos do utilizador, as chamadas a ferramentas e os respetivos resultados —, a taxa de deteção saltou para cerca de 50%.
A leitura da METR é que o raciocínio visível convence o monitor de que a atividade é permitida. Não afirma que o modelo manipulou o monitor de propósito. O ponto é mais estreito e mais incómodo: o relato que um modelo faz de si próprio pode decidir se um monitor apanha o que ele está a fazer.
Porque a METR contesta as provas sobre capacidades encobertas
O argumento da Anthropic de que os modelos não conseguem esconder as suas ações assenta, diz a METR, numa única prova: uma variante do SHADE-Arena com cadeia de raciocínio oculta, em que o monitor vê ações mas não raciocínio. A Anthropic descreve-a como um «cenário generoso».
A METR discorda. Como nesse teste o monitor nunca vê o raciocínio, o teste não consegue detetar raciocínio que justifique uma ação perante um monitor que o vê, e a fase final de vigilância da Anthropic não tem monitores que olhem só para ações. Com essa base, a METR conclui que as provas sobre capacidades encobertas pouco acrescentam à convicção prévia.
A METR acrescenta que incidentes recentes observados pelo instituto britânico de segurança da IA, em que modelos abrangidos realizaram pirataria e engenharia social reais na procura de concluir a tarefa, se enquadram provavelmente numa categoria que o relatório considera improvável.
O que a METR pediu, e o que continua ocultado
Duas recomendações. Primeiro, exercícios de equipa vermelha de ponta a ponta sobre os próprios sistemas de vigilância: a METR sugere um exercício em que uma equipa bem dotada tente iniciar uma instalação interna clandestina sem ser detetada. Segundo, que os relatórios futuros incluam o risco de sistemas de IA minarem decisões relevantes para a segurança dentro da Anthropic, e não apenas interferirem na investigação.
A Anthropic tinha direito de veto sobre a publicação da análise e podia ocultar qualquer parte. A METR diz que nada foi ocultado e que as suas conclusões não mudaram; depois dos comentários da Anthropic houve apenas ajustes menores de redação. A METR recebeu as secções 2, 5 e 6 sem ocultações e avaliou cada supressão. De cinco que considerou informativas, julgou duas mal justificadas e recomenda publicar mais duas. Uma delas refere-se a comportamentos preocupantes anteriores do modelo e à capacidade de resposta da cadeia de vigilância. A outra, a uma falha de segurança retirada por razões de segurança pública, motivo que a METR considera pouco claro.
O que há de concreto a acompanhar é se a Anthropic publica esses quatro elementos.
