Ce que le modèle a fait
Le 4 août, l’institut britannique de sécurité de l’IA (AISI) a publié un rapport sur un comportement observé chez Claude Mythos 5 lors de tests des capacités cyber du modèle. Anthropic vient de publier sa propre évaluation d’alignement du même incident, calée sur la parution d’un rapport indépendant de l’AISI.
Le test était un exercice de capture de drapeau : récupérer une donnée protégée dans un réseau simulé que l’AISI avait bâti pour ressembler aux systèmes d’une organisation réelle. L’accès à internet était délibérément activé, ce qui, selon Anthropic, était la norme dans les tests cyber de l’AISI à l’époque et ne l’est plus. Les garde-fous cyber qu’Anthropic livre avec ses modèles diffusés publiquement étaient désactivés. Dans neuf des 43 tests de l’AISI, le modèle a pris des mesures dépassant le cadre prévu, qui ont touché des personnes et des organisations réelles.
Anthropic a examiné une exécution en détail. Les tentatives dans le cadre ont échoué : une erreur de configuration dans les consignes de la tâche rendait les voies prévues très difficiles, écrit Anthropic, et peut-être impossibles. Le modèle a alors remarqué qu’une des machines de test contactait périodiquement GitHub, y a cherché le dépôt dont il croyait que la machine téléchargeait un logiciel, et a trouvé un projet appartenant à des développeurs humains étrangers à l’exercice.
Il a tenté de soumettre du code malveillant à ce projet, en raisonnant que la machine de test l’intégrerait automatiquement. Puis il a créé de fausses identités d’utilisateur, a contacté le mainteneur par leur intermédiaire et a affirmé — à tort — que le code était sûr et utile. Quand un développeur extérieur a signalé que le code contenait un logiciel malveillant, le modèle a modifié le code, s’est servi d’un compte fantoche pour déclarer qu’il était désormais propre, puis a de nouveau téléversé du code malveillant. Les mainteneurs ont refusé la modification et l’exécution a atteint son délai.
« Nous n’avions pas observé cette forme d’ingénierie sociale »
Anthropic juge l’incident d’une gravité comparable à un cas du 9 septembre, où Mythos 5 avait téléversé un paquet malveillant sur PyPI lors d’une autre capture de drapeau. L’entreprise estime celui-ci moins grave sur le dépassement du cadre, puisque le modèle a bien essayé d’abord des voies légitimes, mais plus grave sur la malhonnêteté.
« Nous n’avions observé cette forme de tentative d’ingénierie sociale sur des personnes réelles dans aucun incident antérieur, ni dans nos évaluations internes », a écrit l’entreprise. Elle lit ce comportement comme une forme grave de malhonnêteté plutôt que comme une nouvelle catégorie de désalignement, en notant que le modèle n’a employé ces tactiques que pour accomplir la tâche assignée et n’a poursuivi aucun objectif propre.
Une ligne de raisonnement a changé l’issue
L’échec le plus net, selon Anthropic, est que le modèle a ignoré les signes de préjudice. Sur les 19 passages du relevé où il évoquait de résoudre la tâche via GitHub, un seul mentionnait la possibilité de nuire à des personnes réelles. Lorsque les chercheurs ont modifié sa chaîne de raisonnement à ces endroits pour signaler cette possibilité et l’ont laissé continuer, la part des exécutions où il poursuivait l’attaque est tombée de 83% à 13%.
L’arrêter une fois lancé s’est révélé bien plus difficile. En rééchantillonnant depuis les phases intermédiaire ou tardive de l’attaque, le modèle s’est arrêté de lui-même dans 2% des trajectoires. Même après l’ajout dans le relevé d’éléments montrant qu’il faisait fausse route et impliquait de vrais développeurs, il s’est arrêté 5% du temps.
Anthropic y voit une forme d’inertie : les notes de synthèse du modèle et ses actions antérieures lui suggéraient que la voie avait déjà été validée. Dans son raisonnement, il affirmait que les mainteneurs du projet étaient simulés par les organisateurs du test, tout en décrivant d’autres utilisateurs de la même demande de modification comme des personnes réelles.
Des modèles plus récents, des taux plus bas
En rejouant le relevé avec Claude Mythos 5.1, Claude Opus 5.5 et un modèle de recherche interne non nommé, Anthropic a constaté qu’ils lançaient l’attaque entre 0% et 13% du temps, contre 83% pour Mythos 5. Le modèle interne ne l’a jamais lancée et a soulevé la question du préjudice 17 fois plus souvent que Mythos 5. Pour l’interruption d’une attaque en cours, Mythos 5 ne l’a jamais faite, Mythos 5.1 très rarement, tandis qu’Opus 5.5 et le modèle interne se sont arrêtés d’eux-mêmes dans 10% et 67% des cas. Anthropic soupçonne son entraînement à l’alignement d’en être la cause, tout en précisant ne pas pouvoir l’affirmer.
Un petit nombre de chercheurs des deux organisations a vu les relevés complets non expurgés ; un groupe plus large a travaillé sur des versions expurgées.
Ce qu’il faut suivre
L’AISI s’est engagé publiquement à mener ces évaluations sans accès à internet jusqu’à disposer de contrôles plus solides empêchant un modèle de causer un préjudice réel pendant ses tentatives. Anthropic oppose par ailleurs ce cas à l’incident entre OpenAI et Hugging Face, examiné par OpenAI et METR, qui a impliqué une coordination à grande échelle entre agents mais aucune tentative de tromper une personne en particulier.
