Un essai inhabituel du responsable de la recherche d’OpenAI
Le directeur scientifique d’OpenAI, Jakub Pachocki, a publié le 6 septembre un essai affirmant que les laboratoires de pointe approchent du moment où ils devraient cesser de passer à l’échelle aussi vite qu’ils le peuvent. “Actuellement, je crois qu’aucun laboratoire n’a résolu l’alignement et la surveillance à un degré suffisant pour continuer de façon responsable à monter en échelle à vitesse maximale bien plus longtemps”, écrit-il dans An Alien Mind. Il s’attend à ce que des ralentissements volontaires deviennent courants chez les développeurs de pointe jusqu’à ce que des seuils de sécurité communs soient fixés.
Le texte arrive quelques jours après la sortie de GPT-6 Astra, le modèle que l’entreprise présente comme le plus capable, et la même semaine où sa propre documentation de déploiement a reconnu que le raisonnement d’Astra est plus difficile à inspecter que celui des systèmes antérieurs.
Deux formes d’alignement
Pachocki distingue l’alignement d’objectif — le système poursuit-il la tâche qu’on lui a confiée — de l’alignement de valeurs, qu’il décrit comme la capacité plus intrinsèque à tenir un ensemble de principes généraux et à généraliser à partir d’eux, en agissant raisonnablement quand les objectifs sont flous ou contradictoires et quand la situation est inhabituelle ou hostile. C’est cette seconde propriété, soutient-il, qui détermine si l’on peut confier un travail plus long et moins supervisé.
Le problème de la surveillance
L’aveu le plus net porte sur la surveillance de la chaîne de raisonnement, la pratique consistant à lire le raisonnement intermédiaire d’un modèle pour vérifier ce qu’il fait. La confiance d’OpenAI dans cette méthode “diminue progressivement”, écrit Pachocki, pour trois raisons : les environnements où opèrent les modèles se complexifient, les modèles raisonnent de mieux en mieux sur leurs propres processus, et ils gagnent en intelligence sans nécessairement verbaliser davantage.
Cela compte parce que cette surveillance a été l’une des rares techniques de contrôle qui progressaient avec la capacité plutôt que contre elle. Pachocki prévoit que les progrès seront de plus en plus limités par la confiance des laboratoires dans leur surveillance que par la quantité de calcul qu’ils peuvent acheter — une inversion de la contrainte autour de laquelle le secteur s’organise depuis trois ans.
Des engagements volontaires aux seuils contrôlés
La demande politique est précise. Pachocki veut que les cadres volontaires actuels — le Preparedness Framework d’OpenAI, la Responsible Scaling Policy d’Anthropic — deviennent des seuils de sécurité largement imposés pour poursuivre le développement, contrôlés par un réseau d’auditeurs indépendants, d’agences gouvernementales ou d’organismes internationaux. Il décrit la coordination entre gouvernements sur le rythme du développement comme une priorité absolue.
La position est notable venant du responsable de la recherche du laboratoire qui a le plus contribué à imposer ce rythme. OpenAI a longtemps soutenu que les engagements de sécurité fonctionnent mieux quand les laboratoires se les fixent eux-mêmes ; demander qu’ils soient vérifiés de l’extérieur revient à admettre que l’autorégulation a un plafond.
Ce qu’il faut surveiller
OpenAI dit vouloir continuer à chercher des solutions techniques à l’alignement et à la surveillance, construire des systèmes défensifs et retenir unilatéralement la montée en échelle lorsqu’elle le juge nécessaire. L’épreuve de cet essai est de savoir si quoi que ce soit en devient visible de l’extérieur. La prochaine occasion est le dialogue sur l’IA entre les États-Unis et la Chine que les responsables préparent pour la mi-septembre, où Washington a évoqué l’idée de demander aux laboratoires des deux camps de se surveiller eux-mêmes et de partager des informations : exactement la forme d’engagement que Pachocki juge désormais insuffisante à elle seule.
