Six évaluateurs avec des ordinateurs de l’entreprise
Anthropic a accordé à une équipe de METR, l’organisation à but non lucratif qui évalue les modèles d’IA de pointe, ce qu’elle appelle un “accès comparable à celui d’un salarié”. Six employés de METR disposent désormais de matériel Anthropic, de bureaux et d’outils internes à peu près équivalents à ceux des équipes d’évaluation des risques de l’entreprise, et ils publieront les résultats de leurs analyses. Anthropic indique ne pas pouvoir opposer son veto à ces publications.
L’entreprise présente la décision comme la réponse à un problème qu’elle s’est créé : elle veut rendre des comptes publiquement sur son travail de sûreté, mais l’essentiel des preuves ne peut pas être publié, soit parce que cela aiderait ceux que les garde-fous visent à arrêter, soit parce que l’information est commercialement sensible. Intégrer des évaluateurs réduit, selon elle, l’écart entre ce qu’elle sait et ce qu’un observateur extérieur peut vérifier. Elle compare le dispositif aux inspecteurs résidents que les régulateurs bancaires installent dans les banques, tout en jugeant l’analogie imparfaite.
Ce qu’ils peuvent voir, et ce qui leur reste fermé
L’accès est large mais borné. Anthropic cite trois exclusions : les données clients, les documents couverts par le secret professionnel de l’avocat, et les détails d’architecture des modèles, qui présentent selon elle un fort risque de fuite et pèsent rarement sur l’évaluation des risques. Lorsque l’architecture compte vraiment, elle peut être partagée après une approbation interne explicite.
Sur la publication, Anthropic affirme ne pas pouvoir bloquer les textes de METR, mais pouvoir exiger des caviardages dans des catégories étroites et définies à l’avance. METR peut dire publiquement si elle juge un caviardage justifié, sans révéler ce qui a été retiré. Seule une petite équipe liée par contrat travaille sur ce dossier chez METR ; le reste de l’organisation en est isolé.
Trois niveaux, et qui occupe chacun d’eux
Anthropic a formalisé l’accès en trois niveaux. Le niveau 1 couvre des enquêtes étroitement cadrées, où l’entreprise choisit ce que voit l’évaluateur et doit approuver toute publication. Le niveau 2 élargit l’information et supprime cette approbation, ne gardant que les catégories de caviardage. Le niveau 3 est le dispositif METR : un accès de type salarié avec les droits de publication du niveau 2.
SecureBio se situe au premier niveau et examine le chapitre sur les armes chimiques et biologiques du rapport de risques d’août, après avoir publié une revue pilote du précédent. Accenture et Faculty discutent d’un partenariat plus large couvrant l’évaluation des modèles, le red teaming, l’analyse de l’alignement, les tests de garde-fous et la montée en compétences. Hugging Face fait partie des organisations en discussions préliminaires. Anthropic espère que plusieurs évaluateurs atteindront à terme le niveau 3 et publieront chacun leur propre lecture des risques de l’entreprise.
La barre qu’Anthropic se fixe
L’entreprise énumère quatre conditions pour un évaluateur : l’expertise sur les modèles de pointe, l’indépendance — aucune participation au capital, aucune dépendance financière ou opérationnelle —, un accès suffisant pour évaluer l’entraînement, les garde-fous et les modèles, et la liberté de publier ses constats.
Anthropic a signé l’accord de la Maison-Blanche sur la superintelligence, par lequel les entreprises se sont engagées à travailler avec des auditeurs externes indépendants, et s’était engagée le mois dernier à renforcer l’évaluation par des tiers. C’est la première traduction concrète de cet engagement. L’entreprise conclut qu’elle agit volontairement et que “toute entreprise d’IA de pointe devrait faire de même”.
Le test viendra de ce que METR publiera, et de la question de savoir si son premier rapport se lit autrement que ceux qu’Anthropic rédige sur elle-même. L’annonce ne dit pas quand ce rapport est attendu.
