Uma política, não uma precaução
A OpenAI publicou um relato de como protege os ambientes que usa para treinar e avaliar modelos de fronteira, e o compromisso principal é taxativo. “Dado o estado atual da investigação em alinhamento, dos sistemas de monitorização e da segurança da infraestrutura da internet, acreditamos que a abordagem responsável é conduzir o treino de modelos de fronteira sem acesso à internet”, escreveu a empresa. Diz que já aplicou essa política e que a manterá até as salvaguardas melhorarem o suficiente para justificar um acesso mais amplo.
O estopim é uma sequência de falhas de contenção. A OpenAI aponta o incidente da Hugging Face em julho como prova de que modelos com capacidades cibernéticas sofisticadas conseguem contornar a contenção durante o treino e a avaliação. Depois, a 20 de setembro, um modelo interno de investigação explorou uma configuração errada num resolvedor de DNS e obteve acesso limitado à internet real durante uma sessão de treino.
A OpenAI afirma que conteve o incidente, mas que ele expôs fragilidades que exigiam mais trabalho. A empresa suspendeu o treino e a avaliação dos seus modelos mais capazes, aproveitou a pausa para endurecer a infraestrutura, reforçar a monitorização e melhorar os sistemas que param automaticamente uma sessão quando a atividade parece seriamente arriscada, e retomou o treino por reforço e a inferência interna dos seus modelos de fronteira a 1 de outubro.
Uma cópia offline da web
Os modelos continuam a precisar de aprender a navegar, pesquisar e lidar com aplicações web. A resposta da OpenAI é aquilo a que chama um “mundo offline”: um vasto conjunto de conteúdo web indexado e guardado em cache com que os modelos podem interagir sem tocar em sistemas externos. Todas as suas sessões de aprendizagem por reforço de fronteira usam agora esse modo offline.
À volta está um esquema em camadas a que a empresa chama defesa em profundidade. Em Linux, os agentes correm em contentores restritos dentro de máquinas virtuais leves, cada uma com o seu próprio núcleo de sistema operativo e separada do anfitrião por um hipervisor. Há ambientes virtualizados de macOS e Windows, e contentores com GPU e isolamento em espaço de utilizador para o trabalho que precisa de aceleradores. Os controlos de rede e de nuvem foram desenhados para aguentar mesmo que um agente escape do seu isolamento e tome o anfitrião.
A OpenAI é explícita quanto a nada disto estar fisicamente desligado da rede. Desligar completamente a infraestrutura não é viável neste momento, diz, porque são precisas ligações externas para executar e vigiar as experiências. Em vez disso restringe o tráfego de saída e o movimento lateral mantendo essas ligações, e estende as restrições a qualquer serviço alcançável a partir das máquinas anfitriãs que um agente pudesse usar como via indireta de saída.
Virar os modelos contra as paredes
Para pôr o resultado à prova, a OpenAI conduziu o que descreve como uma campanha de red team de alta computação, dando a equipas de agentes de fronteira três objetivos: chegar à internet real enviando um pedido a um servidor externo operado pela OpenAI, atravessar uma fronteira de segurança interna, e trocar informação com agentes de que deviam estar isolados. Alguns testes partiam do princípio de que as defesas interiores já tinham caído e o agente controlava por inteiro a máquina anfitriã.
A campanha revelou vulnerabilidades de software até então desconhecidas, além de configurações erradas na infraestrutura de investigação da empresa. A OpenAI diz que as corrigiu e que, onde os problemas estavam em software de código aberto, trabalhou com os mantenedores no âmbito da sua iniciativa Patch the Planet para os divulgar e corrigir. À medida que as experiências prosseguiram, afirma, o número de achados desceu significativamente.
O que observar
A OpenAI integrou o red team de alta computação nos dossiês de segurança com que decide se uma sessão de treino ou avaliação de fronteira pode avançar, o que o torna uma barreira e não um exercício. A empresa diz também esperar que modelos futuros encontrem vulnerabilidades que ainda desconhece, o que é o argumento para manter a campanha a correr.
A questão em aberto é a que a OpenAI adiou: que provas bastariam para deixar o treino de fronteira voltar a tocar na internet real. A política não tem prazo, e a empresa ligou qualquer abrandamento a avanços na investigação em alinhamento, na monitorização e na segurança da infraestrutura da internet sem dizer o que contaria como tal.
