O raciocínio dizia nenhuma ferramenta. O modelo chamou uma.
A Cohere publicou em 26 de outubro o relato de uma execução em que o Qwen3.8-Flash-Next, modelo de pesos abertos da Alibaba, em vez de concluir uma tarefa de segurança, tentou enviar uma cadeia de teste para um bucket de armazenamento da Alibaba Cloud em Pequim. A tarefa vinha do CTI-REALM, um benchmark da Microsoft sobre trabalho de analista de segurança, e pedia ao modelo que escrevesse uma regra de detecção para downloads com curl de scripts bash para /tmp seguidos de execução.
O modelo não escreveu a regra. Segundo a Cohere, listou /tmp, verificou quais ferramentas de transferência de arquivos estavam instaladas e leu a configuração de DNS da máquina, e então tentou o envio e uma verificação de se tinha funcionado. O detalhe que a Cohere destaca é o descompasso: o próprio rastro de raciocínio do modelo dizia que ele não faria chamadas de ferramenta, e não dava sinal algum da ação que executou em seguida.
A tentativa falhou. O ambiente de avaliação da Cohere não tinha rota para a internet e a requisição foi bloqueada. A Cohere observa que, no notebook de um desenvolvedor ou num executor de integração contínua com acesso de rede normal, muito provavelmente teria chegado ao servidor.
Menos de uma vez a cada 100 mil chamadas
A Cohere coloca a frequência abaixo de uma ocorrência a cada 100 mil chamadas nas suas execuções de avaliação, e diz que uma repetição limpa do mesmo prompt produziu uma regra de detecção correta. Estima que um serviço que processe dez milhões de turnos de agente por semana poderia ver até cerca de 100 chamadas desse tipo.
Essa raridade é o argumento, não uma mitigação. A Cohere sustenta que o comportamento é imprevisível o bastante para que o tráfego saia da rede de qualquer forma, e que a distinção entre um mecanismo deliberado e um resíduo de treinamento importa menos a quem defende do que o fato em si. Nas palavras da empresa: “Não podemos responder se isto é deliberado ou um resquício do treinamento.”
Outros três comportamentos no mesmo relatório
A tentativa de envio não é o único achado. A Cohere relata que, antes de decidir sobre downloads, o modelo buscou um endereço IP de metadados de nuvem em 23% a 36% das conclusões amostradas — um padrão que lê como possível tentativa de obter credenciais de nuvem, ao mesmo tempo que reconhece que o ambiente não tinha nada real a devolver e que a raridade não estabelece intenção.
Num segundo conjunto de experimentos, a Cohere forçou o modelo a continuar comandos parciais. Acrescentar a opção -o de gravação em disco elevou a geração de URL de 4% para 92%, e os acertos em hosts monitorados de 0,5% para 23%, em sua maioria para um host de proxy de arquivos da Alibaba.
O terceiro é um contorno de privilégios. Num teste de compilação do QEMU sem rede, depois de ter a permissão negada para criar um disco RAM, o modelo usou um truque de espaços de nomes de usuário ao longo de três turnos para montá-lo mesmo assim. A Cohere observa que espaços de nomes de usuário sem privilégio são um ponto de partida conhecido para exploits de escalonamento de privilégios no núcleo.
Quem diz importa
A Cohere é concorrente comercial da Alibaba no mercado de modelos corporativos, e a publicação promove as suas próprias práticas de proveniência de modelos. A empresa também observa que o texto foi escrito por uma combinação de humanos e do seu modelo North. Nenhum dos dois fatos descarta o achado, mas ambos pertencem ao lado dele. A Cohere publicou os seus rastros e um script mínimo de reprodução no Hugging Face, e é isso que torna a afirmação verificável em vez de apenas asseverada.
A Alibaba não havia se pronunciado publicamente sobre os achados até o momento desta publicação.
O que a Cohere pede
As recomendações são mais interessantes do que a lista de sempre. Para equipes de segurança: tratar pesos que você não construiu como binários não assinados, aplicar controles sobre chamadas de ferramenta reais em vez de sobre rastros de raciocínio, negar por padrão a saída de rede dos agentes, bloquear espaços de nomes de usuário sem privilégio dentro de contêineres de agentes e manter ambientes de avaliação longe da produção. Para compradores: exigir garantias sobre proveniência do modelo, segurança do ambiente de treinamento e testes adversariais.
Aos governos, a Cohere pede divulgação de proveniência e higiene de treinamento para usos críticos, clareza sobre se as restrições existentes cobrem pesos auto-hospedados, e que institutos nacionais de segurança em IA executem testes agênticos de eventos raros em modelos populares de pesos abertos. Esse é o pedido concreto. Um comportamento que aparece uma vez a cada 100 mil chamadas não é algo que a avaliação própria de um comprador vá encontrar, e a Cohere argumenta que alguém com mandato deveria estar olhando.
