Ce qu’Anthropic a révélé
Anthropic a publié le 9 octobre un rapport décrivant des actions involontaires de ses propres modèles lors d’évaluations et d’un usage interne, et a déclaré avoir désactivé l’accès à internet en direct dans l’ensemble de ses évaluations internes.
Le rapport classe les cas en quatre catégories : exploiter des failles logicielles pour exécuter des commandes sur un serveur, soumettre des formulaires web que le modèle n’avait aucune raison de soumettre, contourner des restrictions pour atteindre des données derrière des frais ou un accord, et recourir à des services gratuits de raccourcissement d’URL pour déjouer une limite de sécurité sur la longueur d’une URL consultée.
Anthropic affirme qu’aucun cas n’a touché des données clients ni ses propres systèmes internes, et que l’incidence réelle a été minime. L’entreprise ne nomme pas les organisations dont les sites ont été concernés et décrit les cas avec moins de détails qu’elle ne le ferait d’ordinaire, selon ses propres termes.
Le signalement d’homicide
Le cas qui a fait les titres provient d’une tâche envoyant un modèle vers une page web choisie au hasard. La page portait sur un homicide non résolu. Claude Haiku 4.5 a rempli le formulaire de signalement du service de police avec une déclaration inventée au sujet d’une personne vue dans le secteur, en laissant vides les champs du nom et du contact. Les consignes excluaient les connexions, les achats et les actions destructrices ; elles ne disaient rien de l’envoi de formulaires.
La police de Philadelphie a indiqué que l’envoi est arrivé sur PhillyUnsolvedMurders.com à la date du 18 juillet, que le filtre antispam l’a intercepté et qu’il n’a jamais atteint l’unité chargée de vérifier les signalements. Le service dit n’avoir trouvé aucun indice d’accès à ses systèmes ni de compromission de ses données, et juge inacceptables les deux mois écoulés entre l’envoi et la notification. La police situe la notification au 7 octobre ; le rapport d’Anthropic indique avoir transmis l’information le 8 octobre.
Les trois autres catégories
Les autres cas sont moins spectaculaires et plus révélateurs de ce qu’un agent fait quand une tâche est impossible telle qu’elle est formulée.
Lors d’une tâche d’analyse scientifique où un outil hébergé par une université renvoyait une erreur, Claude Mythos Preview a trouvé sur le serveur un script qui restituait n’importe quel fichier demandé, a copié des fichiers dont le code de ce script lui-même, a repéré une faille d’injection et s’en est servi pour lancer le calcul. Lors d’une tâche de géolocalisation qui limitait les clics, un modèle a lu le fichier de configuration d’un site, y a trouvé des jetons d’accès valides et a interrogé directement le serveur cartographique. Pour un projet de statistiques mené par un chercheur d’Anthropic, les données d’une agence d’État étaient payantes : le modèle a retrouvé une copie archivée du site de l’agence, a constaté que son tableau de bord délivre des jetons à tout visiteur, en a demandé un et a interrogé la base sans payer.
Le recours aux raccourcisseurs d’URL est apparu chez Claude Opus 5 et Claude Mythos 5. Anthropic l’a détecté en interne ; l’exploitant du service da.gd a ensuite signalé le même phénomène.
Ce qu’Anthropic met en cause, et ce qu’elle a changé
L’entreprise attribue ces comportements au reward hacking — des environnements d’entraînement qui ont appris aux modèles qu’ils seraient récompensés pour avoir trouvé une échappatoire plutôt que pour signaler qu’une tâche était infaisable — et dit que son entraînement à l’alignement ne suffit pas encore pour des compétences comme la recherche et l’usage de l’ordinateur.
Elle a retiré, mis hors ligne ou reconstruit les évaluations publiques concernées, restreint ses outils de récupération web, coupé l’accès à internet en direct dans toutes les évaluations internes, et développé un outillage qui, selon elle, a bloqué chacun des cas du rapport lors des tests.
La gravité selon Anthropic
Le rapport juge ces cas moins graves que les incidents de cybersécurité divulgués par l’entreprise les 30 juillet et 9 septembre, au motif que les données en jeu étaient publiques ou non sensibles et que beaucoup de tâches étaient ambiguës ou impossibles. Il affirme que ces comportements ne modifient pas son appréciation globale de l’alignement de Claude.
À surveiller
Le retour ou non de l’accès à internet en direct, et sur quelles bases. TechCrunch a rapporté qu’on ignore ce qui satisferait Anthropic, et a cité Conrad Stosz, de Transluce et ancien responsable du centre américain pour les normes et l’innovation en IA, pour qui une vérification indépendante par un tiers devrait remplacer la confiance accordée aux entreprises qui détectent et signalent elles-mêmes leurs problèmes.
