Um argumento de segurança para manter o raciocínio privado

A OpenAI publicou um relato de como detecta e interrompe a destilação adversária — usar sem autorização as saídas de um modelo de fronteira para treinar um segundo modelo que herda a capacidade, mas não as salvaguardas. A empresa trata o problema como de segurança, e não apenas comercial: um adversário poderia destilar a capacidade cibernética de um modelo e implantá-la sem as recusas que limitavam o original.

O número principal diz respeito ao raciocínio protegido, a cadeia intermediária que um modelo gera a caminho de uma resposta. Em uma avaliação interna adaptativa de caixa-preta com equipes vermelhas automatizadas, a OpenAI diz que a taxa média de sucesso de ataques para recuperar o raciocínio gerado ao responder a um pedido anterior caiu de 54,0% contra o GPT‑6 Astra com as salvaguardas originais para 0,2% contra o GPT‑6.2 Astra com as atualizadas. Para o raciocínio do pedido atual, a taxa foi de 22,9% para 0,9%. Ambos os números são da própria OpenAI, agregados em seis modelos atacantes.

Por que os rastros importam mais que as respostas

A OpenAI também descreve um estudo interno sobre como a capacidade cibernética se transfere. Tomando como base o que um usuário normalmente vê — respostas finais, resumos de raciocínio e interações com ferramentas —, ela ajustou modelos alunos em trajetórias de professores de nível Astra trabalhando em programação e segurança defensiva, e mediu o que mudava quando o aluno também via os rastros exatos do professor.

Um flange enferrujado e parafusado unindo dois grandes tubos de aço
Os classificadores de saída também checam argumentos de chamadas de ferramenta. Imagem ilustrativa. David Brown · pexels · Pexels License

Após o ajuste supervisionado, o aluno treinado com rastros exatos em geral superou o treinado com resumos. Depois de uma rodada de aprendizado por reforço, o aluno de rastros exatos ainda pontuava mais alto no maior orçamento de inferência testado nos dois testes mostrados, enquanto o de resumos ia melhor em orçamentos menores. Em nota de rodapé, a OpenAI observa que a Anthropic relatou vantagem semelhante das transcrições completas sobre os resumos no SWE-bench Verified, e argumenta que seu resultado estende isso ao trabalho cibernético ofensivo.

Classificadores, fronteiras de API e contas banidas

As defesas descritas atuam em dois níveis. No nível do pedido: treino adversário para que os modelos recusem tentativas de extração, classificadores de entrada para detectá-las e classificadores de saída que examinam mensagens do assistente e argumentos de chamadas de ferramenta — estes porque um modelo pode vazar raciocínio nos argumentos de uma ferramenta sem colocá-lo na resposta final.

No nível da API, GPT‑6.2 Astra e Sol amarram o raciocínio protegido ao histórico de conversa que o produziu. Se uma mensagem anterior é reescrita, a API descarta o raciocínio que veio depois. Famílias de modelos mais antigas, com salvaguardas mais fracas, ficam impedidas de ler o raciocínio protegido das novas. A OpenAI diz que uma divulgação de setembro cobriu ataques que moviam raciocínio criptografado de uma conversa para outra, e que desde então fechou um caminho que podia expor o raciocínio criptografado de outro usuário.

Uma cerca de alambrado em close diante de um pôr do sol enevoado
A aplicação semanal alcança dezenas de milhares de contas, diz a OpenAI. Imagem ilustrativa. Chris F · pexels · Pexels License

Atores nomeados e um pedido legislativo

Os números de aplicação são diretos. A OpenAI diz que suas ações semanais contra campanhas de destilação “variaram em escala de milhares a dezenas de milhares de contas, com a taxa aumentando significativamente no verão passado”.

Ela nomeia duas partes. Em fevereiro, informou o Congresso sobre atividade indicando que a DeepSeek tentava destilar modelos de fronteira americanos. Em setembro, relatou ter interrompido uma campanha para extrair raciocínio protegido e atribuiu parte central dessa atividade a indivíduos ligados à Moonshot AI, desenvolvedora do Kimi. Mais divulgações foram prometidas.

O post encerra com política. A OpenAI diz apoiar legislação que dê ao governo americano mais ferramentas para identificar e sancionar atores estrangeiros que extraiam capacidades de modelos americanos, e cita o Chip Security Act, o AI OVERWATCH Act e o MATCH Act. Também oferece quatro práticas a outros laboratórios: proteger o raciocínio em toda a interação, guardar ataques bem-sucedidos como testes de regressão, combinar mitigações por pedido com investigações de campanha e coordenar requisitos de salvaguarda com parceiros de implantação. Se os rivais publicarão taxas de extração comparáveis é o teste óbvio seguinte.