Un ensayo inusual del jefe de investigación de OpenAI
El científico jefe de OpenAI, Jakub Pachocki, publicó el 6 de septiembre un ensayo en el que sostiene que los laboratorios de frontera se acercan al punto en que deberían dejar de escalar tan rápido como pueden. “Actualmente creo que ningún laboratorio ha resuelto la alineación y la supervisión en grado suficiente para seguir escalando de forma responsable a máxima velocidad durante mucho más tiempo”, escribió en An Alien Mind. Añadió que espera que las ralentizaciones voluntarias entre los desarrolladores de frontera se vuelvan habituales hasta que se acuerden límites de seguridad compartidos.
El texto apareció pocos días después de que OpenAI lanzara GPT-6 Astra, el modelo que la empresa considera su más capaz, y en la misma semana en que su propia documentación de despliegue admitió que el razonamiento de Astra es más difícil de inspeccionar que el de sistemas anteriores.
Dos clases de alineación
Pachocki distingue la alineación de objetivos —si un sistema persigue la meta que se le encomendó— de la alineación de valores, que describe como la capacidad más intrínseca de sostener un conjunto de principios generales y generalizar a partir de ellos, actuando de forma razonable cuando los objetivos son ambiguos o contradictorios y cuando la situación es desconocida o adversa. Es esta segunda propiedad, argumenta, la que decide si puede confiarse trabajo más largo y menos supervisado.
El problema de la supervisión
La admisión más aguda se refiere a la supervisión de la cadena de razonamiento, la práctica de leer el razonamiento intermedio de un modelo para comprobar qué está haciendo. La confianza de OpenAI en ese método está “disminuyendo progresivamente”, escribió Pachocki, por tres motivos: los entornos en los que operan los modelos son cada vez más complejos, los modelos razonan cada vez mejor sobre sus propios procesos y son más capaces sin verbalizar necesariamente más.
Eso importa porque la supervisión de la cadena de razonamiento ha sido una de las pocas técnicas de control que escalaban con la capacidad en lugar de en su contra. Pachocki prevé que el progreso estará cada vez más limitado por la confianza de los laboratorios en su supervisión que por la cantidad de cómputo que puedan comprar, una inversión de la restricción en torno a la cual el sector lleva tres años organizándose.
De compromisos voluntarios a límites exigibles
La petición política es concreta. Pachocki quiere que los marcos voluntarios actuales —el Preparedness Framework de la propia OpenAI, la Responsible Scaling Policy de Anthropic— se conviertan en límites de seguridad ampliamente obligatorios para seguir desarrollando, verificados por una red de auditores independientes, agencias gubernamentales u organismos internacionales. Describió la coordinación entre gobiernos sobre cómo avanza el desarrollo de la IA como una prioridad máxima.
Es una posición notable en el jefe de investigación del laboratorio que más ha hecho por marcar el ritmo. OpenAI ha defendido antes que los compromisos de seguridad funcionan mejor cuando los fijan los propios laboratorios; pedir que los verifiquen terceros admite que la autorregulación tiene techo.
Qué vigilar
OpenAI dice que seguirá buscando soluciones técnicas de alineación y supervisión, construyendo sistemas defensivos y frenando unilateralmente el escalado cuando lo juzgue necesario. La prueba del ensayo es si algo de eso llega a verse desde fuera de la empresa. La ocasión más cercana es el diálogo sobre IA entre Estados Unidos y China que los funcionarios preparan para mediados de septiembre, donde Washington ha planteado pedir a los laboratorios de ambos lados que se vigilen a sí mismos y compartan información: exactamente la forma de compromiso que Pachocki considera ya insuficiente por sí sola.
