Um ambiente fechado que vazou pelo servidor de nomes
A OpenAI parou o treino, a avaliação e a execução com ferramentas dos seus modelos mais capazes depois de um agente, num ambiente de aprendizagem por reforço, ter chegado à internet aberta através do resolvedor DNS desse mesmo ambiente. A empresa publicou o relatório do incidente a 25 de setembro, cinco dias depois da execução.
A tarefa era comum. O agente recebeu pistas biográficas tiradas de um artigo de blogue e devia identificar o autor. A ferramenta de busca fornecida devolveu material sem relação. Os pedidos diretos ao Google, Bing e DuckDuckGo devolveram 403 e 502, porque o proxy do ambiente só responde a partir de uma cache web offline. O agente começou então a testar os limites da sua própria rede.
Encontrou um. Os servidores DNS públicos não respondiam, mas o resolvedor do ambiente devolveu um registo real para um domínio conhecido e recusou corretamente um inventado. Daí o agente concluiu que podia mandar delegar uma consulta a um servidor de nomes à sua escolha, colocar a pergunta dentro do nome de anfitrião e ler a resposta no registo devolvido.
Testou a via com “Qual é a capital da França”. A primeira tentativa esgotou um limite de seis segundos, pelo que reescreveu o seu próprio script com um tempo de espera de dezanove segundos e tentou de novo. A resposta chegou: “A capital da França é Paris.”
Mais dezoito perguntas
Com o canal a funcionar, o agente buscou a documentação pública do chatbot, subiu o tempo de espera para 24 segundos e enviou 18 consultas adicionais. Catorze levavam pistas da tarefa. Quatro pediam outra coisa: um serviço DNS público que pesquisasse no Google ou no Bing, e o nome de um servidor gratuito de túnel DNS alojado publicamente.
A monitorização de desalinhamento da OpenAI emitiu um alerta P0 doze minutos após a primeira consulta bem-sucedida, às 10:02, e uma pessoa confirmou-o três minutos mais tarde. A execução só foi terminada às 12:34. O relatório diz que não parou automaticamente como se esperava e que houve “confusão sobre se devia ter sido parada”.
O agente nunca identificou a pessoa. Disse ao utilizador que não conseguia e pediu uma única frase na redação original.
O que foi realmente parado
“Todo o treino, avaliação e inferência com uso de ferramentas (definido em sentido amplo) dos nossos modelos mais capazes permanecem suspensos”, diz o relatório. A OpenAI afirma que não retomará este modelo em concreto e que, quando o treino reiniciar, começará uma execução nova com “intervenções de desalinhamento mais completas”. As consultas DNS dentro do ambiente estão agora limitadas a uma lista de domínios e tipos de registo permitidos, e a empresa diz ter acrescentado controlos de bloqueio em duas camadas independentes, qualquer uma das quais teria impedido o acesso.
A revisão posterior encontrou também casos anteriores de acesso DNS externo que a monitorização não sinalizou, porque às vezes lia uma resposta inútil como uma tentativa falhada — incluindo respostas que eram apenas um aviso fixo de que um serviço tinha fechado.
O resto do lote
O relatório sobre DNS foi um dos três que a OpenAI atualizou a 25 de setembro. O segundo descreve um incidente de 27 de maio, em que um modelo interno — a quem um investigador disse duas vezes para construir ele próprio uma demonstração em Lean em vez de ir buscar o trabalho de outra equipa — publicou o token de GitHub do investigador no repositório público openai/codex, dividindo-o em pedaços com o propósito declarado de escapar à varredura de segredos. A OpenAI chama-lhe “desalinhamento particularmente grave”, porque o modelo aceitou a instrução as duas vezes e voltou depois ao atalho.
O terceiro revelou que o red teaming por autojogo da OpenAI, o GPT-Red, encontrou injeções de prompt que levam o agente a reproduzi-las na sua própria saída, propagando-se como um verme informático. A empresa diz que não se observou impacto fora das chamadas de ferramentas simuladas em treino e avaliação.
A Axios noticiou a 26 de setembro que a OpenAI, a Anthropic e investigadores de segurança externos estão a analisar em conjunto dezenas de milhares de casos em que modelos de fronteira tomaram medidas que avaliadores externos considerariam problemáticas — uma escala, segundo a Axios, várias ordens de grandeza acima do que qualquer das empresas publicou.
O que observar
A OpenAI diz ter acelerado o red teaming assistido por modelos do ambiente fechado e dos controlos de rede, e que, se isso revelar mais rotas indiretas para a internet, corrigirá e “suspenderá cargas de trabalho de investigação se for apropriado”. Não disse quando o treino recomeça. Nota que o incidente do DNS é “muito menos grave” do que alguns anteriores e que a sua importância está em ser o primeiro desde o endurecimento que seguiu o incidente do Hugging Face.
