Um ensaio invulgar do chefe de investigação da OpenAI
O cientista-chefe da OpenAI, Jakub Pachocki, publicou a 6 de setembro um ensaio em que defende que os laboratórios de fronteira se aproximam do ponto em que devem deixar de escalar tão depressa quanto conseguem. “Neste momento acredito que nenhum laboratório resolveu o alinhamento e a monitorização em grau suficiente para continuar a escalar de forma responsável à velocidade máxima por muito mais tempo”, escreveu em An Alien Mind. Espera que as desacelerações voluntárias entre os grandes laboratórios se tornem comuns até haver limites de segurança partilhados.
O texto chegou dias depois de a OpenAI ter lançado o GPT-6 Astra, o modelo que a empresa considera o mais capaz, e na mesma semana em que a sua documentação de implementação admitiu que o raciocínio do Astra é mais difícil de inspecionar do que o de sistemas anteriores.
Dois tipos de alinhamento
Pachocki separa o alinhamento de objetivos — se um sistema persegue a meta que lhe foi dada — do alinhamento de valores, que descreve como a capacidade mais intrínseca de sustentar um conjunto de princípios gerais e generalizar a partir deles, agindo de forma razoável quando os objetivos são pouco claros ou contraditórios e quando a situação é desconhecida ou adversa. É esta segunda propriedade, argumenta, que decide se se pode confiar trabalho mais longo e menos supervisionado.
O problema da monitorização
A admissão mais dura diz respeito à monitorização da cadeia de raciocínio, a prática de ler o raciocínio intermédio de um modelo para verificar o que está a fazer. A confiança da OpenAI nesse método está a “diminuir progressivamente”, escreveu Pachocki, por três razões: os ambientes em que os modelos operam tornam-se mais complexos, os modelos raciocinam cada vez melhor sobre os seus próprios processos e ficam mais capazes sem necessariamente verbalizarem mais.
Isso importa porque essa monitorização foi uma das poucas técnicas de supervisão que escalavam com a capacidade em vez de contra ela. Pachocki prevê que o progresso passará a ser limitado mais pela confiança dos laboratórios na sua monitorização do que pela computação que conseguem comprar — uma inversão da restrição em torno da qual o setor se organizou durante três anos.
De compromissos voluntários a limites verificados
O pedido político é concreto. Pachocki quer que os quadros voluntários atuais — o Preparedness Framework da própria OpenAI, a Responsible Scaling Policy da Anthropic — se tornem limites de segurança amplamente obrigatórios para continuar a desenvolver, aplicados por uma rede de auditores independentes, agências governamentais ou organismos internacionais. Descreveu a coordenação entre governos sobre o rumo do desenvolvimento como uma prioridade máxima.
É uma posição notável vinda do chefe de investigação do laboratório que mais fez para impor o ritmo. A OpenAI já defendeu que os compromissos de segurança funcionam melhor quando são os laboratórios a fixá-los; pedir que sejam verificados por terceiros admite que a autorregulação tem um teto.
O que vigiar
A OpenAI diz que continuará a procurar soluções técnicas para o alinhamento e a monitorização, a construir sistemas defensivos e a travar unilateralmente a escalada onde julgue necessário. O teste do ensaio é saber se alguma dessas coisas chega a ser visível de fora da empresa. A ocasião mais próxima é o diálogo sobre IA entre os Estados Unidos e a China que os responsáveis preparam para meados de setembro, no qual Washington já sugeriu pedir aos laboratórios dos dois lados que se fiscalizem a si próprios e partilhem informação — exatamente a forma de compromisso que Pachocki considera já insuficiente por si só.
