Seis avaliadores com computadores da empresa
A Anthropic concedeu a uma equipe da METR, a organização sem fins lucrativos que avalia modelos de IA de fronteira, o que chama de “acesso semelhante ao de um funcionário”. Seis trabalhadores da METR passam a ter equipamentos da Anthropic, espaço de escritório e ferramentas internas comparáveis às usadas pelas próprias equipes de avaliação de risco da empresa, e vão publicar os resultados de suas análises. A Anthropic afirma que não pode vetar essas publicações.
A empresa apresenta a medida como resposta a um problema que ela mesma criou: quer prestar contas publicamente pelo seu trabalho de segurança, mas boa parte das evidências não pode ser publicada, seja porque ajudaria exatamente quem as salvaguardas pretendem deter, seja porque é comercialmente sensível. Colocar avaliadores dentro de casa, argumenta, fecha a distância entre o que a empresa sabe e o que alguém de fora consegue verificar. A comparação que ela faz é com os inspetores residentes que os reguladores bancários instalam dentro dos bancos, ainda que admita que a analogia é imperfeita.
O que os avaliadores podem e não podem ver
O acesso é amplo, mas tem limites. A Anthropic lista três exclusões: dados de clientes, material protegido por sigilo entre advogado e cliente, e detalhes da arquitetura do modelo, que segundo a empresa têm alto risco de vazamento e costumam ser pouco relevantes para avaliar riscos. Quando a arquitetura de fato importa, pode ser compartilhada com aprovação interna explícita.
Sobre a publicação, a Anthropic diz que não pode bloquear o que a METR escrever, mas pode exigir que trechos sejam ocultados dentro de categorias estreitas e definidas de antemão. A METR pode dizer publicamente se considera uma ocultação justificada, sem revelar o que foi retirado. Apenas um grupo pequeno e vinculado por contrato dentro da METR trabalha no acordo; o resto da organização fica isolado dele.
Três níveis, e quem ocupa cada um
A Anthropic formalizou o acesso em três níveis. O nível 1 cobre investigações de escopo estreito, em que a empresa escolhe o que o avaliador vê e precisa aprovar o que for publicado. O nível 2 amplia a informação e elimina essa aprovação, mantendo só as categorias de ocultação. O nível 3 é o arranjo com a METR: acesso equivalente ao de funcionário com os direitos de publicação do nível 2.
A SecureBio está no primeiro nível e revisa o capítulo sobre armas químicas e biológicas do relatório de riscos de agosto, depois de ter publicado uma revisão piloto do anterior. Accenture e Faculty negociam uma parceria mais ampla, que cobre avaliação de modelos, red teaming, análises de alinhamento, testes de salvaguardas e formação de capacidades. A Hugging Face está entre várias organizações em conversas iniciais. A Anthropic diz esperar que vários avaliadores cheguem ao nível 3 e publiquem cada um sua própria leitura dos riscos da empresa.
O padrão que a Anthropic impõe a si mesma
A empresa lista quatro exigências para um avaliador: experiência em analisar modelos de fronteira; independência, ou seja, nenhuma participação acionária nem dependência financeira ou operacional; acesso suficiente para avaliar treinamento, salvaguardas e modelos; e liberdade para publicar o que encontrar.
A Anthropic assinou o Acordo da Casa Branca sobre Superinteligência, pelo qual as empresas se comprometeram a trabalhar com auditores externos independentes, e no mês passado prometeu reforçar a avaliação por terceiros. Esta é a primeira forma concreta desse compromisso. A empresa encerra dizendo que age voluntariamente e que “toda empresa de IA de fronteira deveria fazer o mesmo”.
O teste do acordo será o que a METR publicar, e se seu primeiro relatório soar diferente dos que a Anthropic escreve sobre si mesma. O anúncio não diz quando esse relatório sai.
