O que a OpenAI diz ter acontecido
A OpenAI atribuiu publicamente a pessoas ligadas à Moonshot AI, o laboratório chinês por trás do Kimi, um esforço coordenado para extrair o raciocínio protegido dos seus modelos. Num artigo publicado a 30 de setembro, a empresa disse que a atividade mais antiga que observou ocorreu na primeira semana de julho, e que desmantelou totalmente a campanha a 28 de julho.
O raciocínio protegido é o cálculo interno do modelo — a parte que não aparece na resposta. A OpenAI descreve a atividade como destilação adversária: usar sem autorização as saídas ou o raciocínio de um modelo para treinar ou reproduzir outro. A empresa é explícita em que nenhuma cifra foi quebrada, nenhuma base de dados foi comprometida e ninguém obteve acesso direto a conversas de utilizadores guardadas.
O truque, e a escala
O método era conversacional. Os operadores copiavam raciocínio cifrado de uma conversa e pediam a um modelo noutra conversa que o decifrasse e transcrevesse. Investigadores de segurança independentes revelaram, em paralelo, fragilidades afins entre modelos e na compactação de conversas; a OpenAI diz que verificou essas conclusões e confirmou que os caminhos de ataque eram reais.
O volume foi baixo no início. A 24 e 25 de julho a OpenAI contou 16 000 pedidos com um padrão de extração relevante, vindos de mais de 4 000 utilizadores. Ao alargar a busca a padrões semelhantes apareceu um conjunto de mais de 15 000 utilizadores no total. Uma nota de rodapé do próprio artigo conta aqui: esses números descrevem tentativas de extração, não necessariamente extrações bem-sucedidas.
Na atribuição, a OpenAI ressalva num sentido e não no outro. Diz não ser claro se todos os operadores observados vinham de um único ator, mas atribui um núcleo da atividade a pessoas ligadas à Moonshot AI.
O que mudou
A OpenAI bloqueou ou restringiu as contas, apertou os controlos de registo e de infraestrutura e alargou a vigilância de redes afins. Tecnicamente, fechou o caminho que permitia a quem tivesse o raciocínio cifrado de outro utilizador reproduzi-lo para recuperar o conteúdo, e acrescentou verificações capazes de detetar e reter saídas em fluxo que pudessem expor raciocínio. Onde a atividade passava por serviços de terceiros, diz ter trabalhado com esses fornecedores para desativar as contas envolvidas.
Partilhou também as conclusões através do Frontier Model Forum e de canais governamentais de troca de informação, e sustenta que a manipulação de base não é exclusiva dos seus modelos: qualquer sistema que admita artefactos de raciocínio portáteis ou reproduzíveis pode estar exposto a algo semelhante.
O que observar
Se a Moonshot AI responde, e em que termos. Se outros laboratórios de fronteira publicam deteções equivalentes agora que a técnica foi descrita no Frontier Model Forum. E se alguém fora dos laboratórios consegue verificar a atribuição: a OpenAI apontou uma empresa com base em provas que não publicou, que é a forma habitual deste tipo de divulgação e também a razão por que é difícil a terceiros confirmá-la.
