Un critique de la sécurité entre dans l’organe qui valide les lancements
OpenAI a annoncé le 9 septembre que Paul Christiano rejoignait le conseil de la Fondation OpenAI, l’entité à but non lucratif qui contrôle l’entreprise, ainsi que son comité de sécurité, le Safety and Security Committee. Il siégera également comme observateur sans droit de vote au conseil d’OpenAI Group PBC, la société d’intérêt public dont la Fondation détient 26 pour cent après la recapitalisation achevée en octobre 2025.
Le comité est présidé par Zico Kolter et supervise les pratiques de sécurité dans toute l’entreprise. TechCrunch a rapporté qu’il a le dernier mot sur les lancements de modèles. La nomination place donc un chercheur qui soutient depuis dix ans que les systèmes avancés pourraient échapper au contrôle humain dans l’organe capable de retenir un lancement.
L’un des architectes de la technique derrière ChatGPT
Christiano a travaillé chez OpenAI de 2017 à 2021, où il a dirigé l’équipe d’alignement des modèles de langage et contribué à mettre au point l’apprentissage par renforcement à partir de retours humains, la méthode d’entraînement qui a transformé des modèles bruts en assistants capables de suivre des instructions. Il est parti fonder l’Alignment Research Center en 2021 et est aujourd’hui conseiller technique principal du Center for AI Standards and Innovation, l’organisme d’évaluation des modèles rattaché au département du Commerce des États-Unis.
“Paul a contribué à définir le champ de l’alignement de l’IA par un travail rigoureux, centré sur les questions les plus difficiles que posent des systèmes toujours plus capables”, a déclaré Bret Taylor, président des deux conseils, dans l’annonce de l’entreprise.
Le nouvel administrateur estime que le secteur n’est pas sur la bonne voie
La déclaration de Christiano lui-même a été moins consensuelle. “Les capacités de l’IA ont progressé très vite au cours de l’année écoulée et l’alignement reste un problème technique difficile”, a-t-il dit. Dans des propos rapportés par TechCrunch, il est allé plus loin : il estime désormais qu‘“il existe un risque réel qu’une accélération rapide des capacités de l’IA conduise à une perte de contrôle catastrophique et irréversible à très court terme” et que “le secteur de l’IA en général, OpenAI compris, n’est pas aujourd’hui en voie de ramener ce risque à un niveau acceptable”. Il a visé en particulier le fait d’utiliser des systèmes d’IA pour entraîner leurs successeurs.
Il arrive la semaine où deux chercheurs d’Anthropic ont exprimé publiquement la même inquiétude, l’un d’eux en démissionnant. La différence est que Christiano porte l’argument depuis l’intérieur d’un conseil, et non en en sortant.
Un conseiller de l’État à l’intérieur de l’entreprise que son agence évalue
Christiano conserve son poste au Center for AI Standards and Innovation et s’y déportera sur tous les dossiers liés à OpenAI ainsi que sur les évaluations de modèles. Le montage place malgré tout un conseiller en exercice de l’organisme d’évaluation du gouvernement américain au conseil d’une entreprise dont cet organisme teste les modèles, et TechCrunch a rapporté que ce double rôle suscite des interrogations sur l’influence de l’industrie sur la politique publique de l’IA.
Ce qu’il faudra observer, c’est si l’autorité affichée du comité s’exerce un jour de façon visible. Christiano a dit publiquement qu’OpenAI n’en faisait pas assez ; l’épreuve sera ce qui se passera la première fois que cette position se heurtera à une date de lancement.
