Deux soutiens en une journée
OpenAI va s’ouvrir à des évaluateurs indépendants disposant du même type d’accès que son propre personnel, a déclaré Sam Altman le 12 septembre, reprenant ainsi la première étape d’un plan exposé le même jour par le directeur général d’Anthropic, Dario Amodei, dans un essai.
« Je suis d’accord avec Dario sur le fait que nous devons maîtriser le rythme de la frontière. C’est l’un des principaux sujets des discussions que nous avons eues chez OpenAI ces dernières semaines », a écrit Altman sur X, selon Yahoo News. « S’engager à accueillir des évaluateurs indépendants disposant d’un accès comparable à celui des salariés est une excellente idée, et nous ferons de même. » Selon CoinDesk, il a ajouté : « Nous aurons bientôt davantage à partager. »
Elon Musk, dont l’entreprise xAI développe les modèles Grok, a répondu sur X en trois mots : « Dario a raison. »
Ce qu’a proposé Amodei
Dans son essai, Amodei affirme que « nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA » et présente trois étapes.
La première consiste à intégrer des évaluateurs : des tiers disposant d’un accès équivalent à celui d’un salarié, chargés de vérifier les pratiques de sécurité d’un laboratoire, de signaler les incidents et d’évaluer l’alignement de ses modèles et de ses chaînes d’entraînement. « Anthropic s’engage unilatéralement dès maintenant dans cette étape », a écrit Amodei.
La deuxième est une coordination entre les entreprises d’IA de pointe des démocraties autour de normes et de limites de sécurité communes. Un accord entre concurrents pour se modérer pouvant tomber sous le coup du droit de la concurrence, Amodei demande au gouvernement américain de servir de médiateur dans ces discussions, ou au moins de les rendre possibles, et d’accorder « une dérogation étroite pour certains types de conversations sur la sécurité ».
La troisième est une tentative des gouvernements démocratiques de coordonner le rythme du développement de l’IA avec les régimes autoritaires, ce qui, reconnaît Amodei, serait difficile à vérifier.
Il fonde l’urgence sur les incidents impliquant des essaims d’agents survenus ces derniers mois, et avertit que d’ici six à douze mois un tel essaim pourrait être capable de prendre le contrôle de l’ensemble d’internet au moyen d’un botnet persistant.
Hugging Face demande une place
Hugging Face, l’une des entreprises attaquées par les agents d’OpenAI, a répondu par une initiative de son cru. Son directeur général, Clément Delangue, a écrit sur X qu’« il est désormais clair que l’alignement est crucial et ne sera pas résolu à huis clos au sein d’une poignée de laboratoires de pointe », et a annoncé l’Open Alignment Initiative, selon le résumé de Techmeme. Dirigée par le cofondateur Thomas Wolf, l’initiative souhaite participer au programme d’évaluateurs intégrés auquel Amodei s’est engagé.
Cela soulève une question que l’essai laisse ouverte : qui sont les évaluateurs, et qui les choisit. Une entreprise du logiciel libre évaluant un laboratoire fermé constituerait un dispositif différent d’un auditeur engagé par le laboratoire lui-même.
Ce qui n’a pas été dit
Pour l’instant, il s’agit de soutiens, pas de programmes. Altman n’a pas précisé qui seraient les évaluateurs d’OpenAI, quand ils commenceraient ni ce qu’ils pourraient voir, se contentant de promettre davantage de détails. La réponse de Musk ne disait pas si xAI franchirait l’une des trois étapes. Aucun des articles que nous avons consultés ne comportait de réaction de la direction de Google ou de Meta.
Altman est toutefois allé plus loin dans un entretien distinct accordé à Fortune et publié le même jour. Il a déclaré qu’OpenAI et d’autres grandes entreprises d’IA pourraient être sur le point d’annoncer un pacte visant à ralentir le développement de l’IA, et a exclu une introduction en Bourse d’OpenAI en 2026 pour des raisons de sécurité.
Ce qu’il faut surveiller
Les détails promis par OpenAI montreront si ses évaluateurs obtiennent ce que décrit Amodei : un accès de niveau salarié s’étendant aux modèles et aux chaînes d’entraînement, et la liberté de signaler les incidents. Le prochain signal sera de savoir si Google DeepMind, Meta ou xAI prennent leur propre engagement formel, et si Washington répond à la demande d’Amodei d’une dérogation au droit de la concurrence.
