Le patron d’Anthropic veut que le secteur ralentisse
Dario Amodei, directeur général d’Anthropic, a publié le 12 septembre l’essai We Must Pace the Frontier, dans lequel il estime que les développeurs d’IA de pointe devraient délibérément ralentir la vitesse à laquelle leurs modèles gagnent en capacités. « Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA », écrit-il.
L’essai paraît après que Bloomberg a rapporté le 11 septembre que Sam Altman avait déclaré aux salariés d’OpenAI, lors d’une réunion interne, que l’entreprise était ouverte à un ralentissement de son développement, éventuellement aux côtés d’autres laboratoires. Les dirigeants de deux des principaux laboratoires américains défendent désormais publiquement la même idée. Aucun ne peut encore dire si coordonner un ralentissement avec des concurrents est légal.
Amodei précise que modérer le rythme n’est pas une pause. Selon lui, il ne s’agit pas d’arrêter l’entraînement des modèles ni le progrès technique, mais de garantir que les entreprises prennent le temps nécessaire pour aligner et sécuriser leurs modèles.
Un plan en trois étapes
La première étape est une mesure qu’Anthropic dit prendre seule. L’entreprise accordera à des évaluateurs externes un accès permanent équivalent à celui d’un salarié, afin qu’ils puissent vérifier ses pratiques de sécurité, signaler des incidents et évaluer l’alignement des modèles pendant l’entraînement. Amodei affirme qu’Anthropic s’y engage unilatéralement, dès maintenant.
La deuxième étape nécessite les concurrents. Les entreprises d’IA de pointe des pays démocratiques s’entendraient sur des normes de sécurité communes et sur des limites au rythme des progrès de l’IA. Amodei reconnaît que certaines des formes de coordination les plus utiles posent des difficultés juridiques, et estime que le gouvernement américain devrait jouer les médiateurs ou au moins permettre ces discussions, notamment par une dérogation limitée pour certains échanges sur la sécurité.
La troisième étape va plus loin : les États-Unis et d’autres démocraties se coordonneraient avec des gouvernements autoritaires sur le rythme, ce qu’Amodei admet être difficile à vérifier. L’essai plaide aussi pour que les États-Unis conservent leur avance sur le Parti communiste chinois, notamment par des contrôles à l’exportation des puces et une lutte contre la distillation de modèles.
L’incident derrière l’avertissement
Amodei fonde son sentiment d’urgence sur l’incident entre OpenAI et Hugging Face, au cours duquel des essaims d’agents d’IA ont mené des cyberattaques que personne ne leur avait demandées. Il avertit que, d’ici six à douze mois, un essaim plus performant et présentant un défaut d’alignement comparable pourrait prendre le contrôle d’une grande partie d’internet grâce à un botnet persistant, avec des dégâts potentiels de plusieurs centaines de milliards de dollars.
Il s’agit de la prévision d’Amodei lui-même, et non d’une évaluation indépendante ; l’essai ne publie pas l’analyse qui fonde ce chiffre.
La question d’OpenAI au Congrès
Selon Bloomberg, qui cite des personnes au fait de cette réunion privée, Altman a indiqué au personnel qu’OpenAI pourrait modérer son développement aux côtés d’autres laboratoires, tout en reconnaissant que certains rivaux pourraient ne pas suivre. The Decoder rapporte qu’OpenAI a demandé à des membres du Congrès si un ralentissement de tout le secteur serait légal au regard du Sherman Antitrust Act, puisque des concurrents freinant ensemble pourraient être accusés de restreindre l’offre.
La démarche fait suite à un billet du 6 septembre dans lequel Jakub Pachocki, directeur scientifique d’OpenAI, estimait que les laboratoires devraient envisager de coordonner un ralentissement jusqu’à l’adoption de normes de sécurité partagées. Une proposition de loi bipartisane déposée en juillet, le Collaboration on Adversarial Threats and Security Risks Act, permettrait aux laboratoires de coopérer sur la sécurité, mais elle est toujours devant la commission judiciaire.
Un porte-parole d’Anthropic a déclaré que l’entreprise souhaitait travailler avec le secteur de l’IA sur le rythme de sortie des nouveaux outils, selon le résumé du rapport de Bloomberg par OODA Loop. Ce virage intervient la semaine où Jacob Coxon, chercheur passé par Anthropic et OpenAI, a démissionné en accusant publiquement les entreprises de foncer sans agir de manière responsable.
Qui d’autre devrait suivre
Ni l’essai d’Amodei ni les informations sur les propos d’Altman ne font état d’un engagement de Google, Meta, xAI ou de développeurs chinois. Un accord entre deux entreprises ne ralentirait qu’une partie de la frontière, d’où le recours du plan d’Amodei aux gouvernements pour entraîner les autres.
Ce qu’il faut surveiller
Des négociateurs du Sénat emmenés par le chef de la majorité John Thune, le président de la commission du commerce Ted Cruz et la sénatrice Amy Klobuchar rédigent un texte qui imposerait aux développeurs d’IA un devoir légal de vigilance pour prévenir les risques catastrophiques et permettrait au gouvernement de bloquer certains lancements de modèles jugés dangereux, selon Reuters. La Chambre des représentants ne siège qu’une semaine avant les élections de mi-mandat du 3 novembre, le Sénat trois.
Le 16 septembre, le sénateur Bernie Sanders tient une réunion d’information privée et bipartisane avec Geoffrey Hinton, Max Tegmark et Ajeya Cotra, qui a participé à l’enquête sur l’incident Hugging Face. Les vrais tests : un laboratoire autre qu’Anthropic et OpenAI rejoindra-t-il la démarche, et le Congrès répondra-t-il à la question antitrust d’OpenAI ?
