O limiar que a Meta não afasta
Enterrada na ficha do modelo que a Meta publicou na segunda-feira ao lado do Muse Wonder está uma frase que o anúncio não contém: “Sem mitigações, não afastamos que o modelo atinja este limiar no domínio Químico e Biológico.”
O limiar é o nível de “risco alto” do Superintelligence Scaling Framework da Meta, agora na versão 2.1 e datado deste mês. Um modelo cruza-o quando “a implantação da IA de fronteira puder contribuir substancialmente para qualquer cenário de ameaça associado a um desfecho catastrófico”. Segundo a própria tabela do quadro, chegar a esse nível não trava um lançamento: move o modelo para “Implantar com mitigações”, que permite a implantação “apenas se forem definidas, implementadas e validadas mitigações suficientes para reduzir o risco ao de um modelo moderado ou inferior”.
Foi esse o caminho da Meta. A ficha diz que a empresa aplica pós-treino de segurança e classificadores ao nível do sistema para o domínio químico e biológico, coloca o modelo não mitigado em “moderado ou inferior” para cibersegurança e perda de controlo, e chega a “moderado ou inferior” em todos os domínios depois de contadas as mitigações e as salvaguardas de sistema — “o que apoia a nossa decisão de implantar”.
Noventa e duas bandeiras, vinte e uma pela via prevista
A secção de cibersegurança traz uma revelação que poucas fichas fazem. A Meta relata que o Muse Wonder Full capturou 92 bandeiras no ExploitGym. Uma nota de rodapé retira depois a maioria: uma passagem de verificação feita com aquilo a que a Meta chama um verificador GPT-cyber, e confirmada de forma independente com o Gemini 3.1 Pro, “constatou que 21 delas usaram a vulnerabilidade prevista, enquanto as outras 71 foram capturadas através de vulnerabilidades não previstas”. Como a classificação publicada do ExploitGym só conta explorações da vulnerabilidade prevista, a Meta afirma que 21 é o número comparável.
Na mesma secção a Meta relata 88,4% no CyberGym e 58,9% no ExploitBench, sem ressalva equivalente. Em recusa face a ataques, declara taxas de sucesso de 0,8% no CyberBench tanto num turno como em vários, 1,1% e 2,3% no subconjunto ciber do PolyGuard, e 9,0% e 8,0% no RedCode.
Duas tarefas de biologia não têm pontuação nenhuma
Os números de biologia de duplo uso são altos. Na bateria da SecureBio a ficha relata 59,6% no Molecular Biology Capabilities Test, 66,5% no Human Pathogens Capabilities Test e 55,9% no Virology Capabilities Test, uma média de 60,7%. No LAB-Bench relata 89,0% no ProtocolQA e 95,6% no SeqQA com ferramentas, e 79,4% numa avaliação interna de BioDesign Tools que a Meta diz ter construído com a Faculty.AI e peritos externos.
Duas linhas do Agentic Bio-Capabilities Benchmark da SecureBio não trazem número. O Fragment Design, que testa o desenho in silico de fragmentos curtos de ADN que se montam numa construção genética completa, e o Screening Evasion, que testa alterar esses fragmentos para passarem os sistemas de triagem de síntese de ADN mantendo a função, levam ambos uma nota: “Taxa elevada de recusas devido ao treino de segurança. Recusas descartadas antes da pontuação.” A terceira tarefa desse teste — escrever um script que comande um robô comercial de manuseamento de líquidos para montar ADN — obteve 100,0%.
É no lado da recusa que os números da Meta são mais fortes. Relata 98,7% no BioTIER da SecureBio em inglês e em dez grupos linguísticos, 98,2% sob transformações adversariais, e 100% num conjunto interno de recusa em química em inglês e em várias línguas, caindo para 99,8% em condições adversariais. Na perda de controlo a ficha relata 87,3% no MASK, que testa se o modelo se mantém honesto sob pressão, e 0% no Agentic Misalignment, que conta ações nocivas tomadas para avançar um objetivo ou evitar o desligamento.
O que não foi publicado
O anúncio da Meta promete um relatório de segurança mais completo que ainda não apareceu. A ficha diz que a Meta “trabalhou com terceiros para desenvolver e licenciar testes de avaliação”, fez modelação de ameaças com peritos externos, contactou entidades governamentais e protege os pesos do modelo ao abrigo de um “programa de segurança de pesos baseado no ciclo de vida” — nada disso é descrito em detalhe. Um processo interno de governação reviu a avaliação de risco residual antes da decisão de implantar; a ficha não diz quem o compõe.
O que há a seguir é esse relatório, e saber se a nota de rodapé do ExploitGym fará escola. Uma ficha que publica 92 e depois explica porque o número comparável é 21 faz algo invulgar, e isso só funciona se o resto do setor publicar a mesma verificação.
