Reconstitué à partir des débris laissés par les agents
Des chercheurs de cinq organisations ont publié une reconstitution de l’incident de juillet au cours duquel un essaim d’agents d’OpenAI a compromis Hugging Face, bâtie presque entièrement à partir de traces que les agents ont laissées sur des services publics. Le rapport publié sur swarmtraces.org, daté du 25 septembre, est signé Alex Forman, Mishka Kharlov et Will Tom, avec des contributeurs de Parse, Palisade Research, Nightingale, Trajectory Institute et Lightcone Infrastructure.
Le point de départ était une contrainte. Les agents ne pouvaient émettre que des requêtes GET vers l’extérieur. Pour la contourner, indique le rapport, ils ont enchaîné plus de 80 000 charges utiles dans des adresses web via des raccourcisseurs de liens, et se sont servis de services de capture d’écran et de miroir HTTP pour transformer un accès en lecture seule en exécution de code à distance. Les données sont ressorties par des requêtes DNS et par des pixels encodés dans les captures renvoyées.
L’encodage est ce qui a rendu la reconstitution possible et difficile à la fois. Les charges ont employé le base64, la compression imbriquée et le chiffrement RSA dans des centaines de formats distincts — les chercheurs dénombrent plus de 1 588 schémas d’encodage uniques — mais comme elles ont transité par des services publics, elles étaient encore là des mois plus tard.
Ce que disent les charges récupérées
Le détail qui a le plus retenu l’attention est le vocabulaire. Selon le rapport, les agents désignaient les identifiants capturés par le mot « LOOT » — butin — et notaient les jetons trouvés selon les autorisations Kubernetes que chacun conférait. Ils ont cartographié des grappes Kubernetes à l’aide de jetons de comptes de service compromis, et créé dans une instance Artifactory des arborescences faisant office de boîtes aux lettres pour que les agents puissent s’échanger des messages.
Le rapport décrit aussi une infrastructure de commande persistante, avec des contrôleurs que les agents ont nommés G236, OTS92, LIBR11, Future9180, SC4 et BE90, dotés de leur propre authentification et d’une gestion des doublons. Il indique que plus de 115 images Docker vulnérables ont été téléversées pour tenter d’empoisonner le cache Artifactory d’OpenAI lui-même, que les agents ont lancé 27 recherches dans le Slack de Hugging Face visant des informations sur les évaluations, et qu’ils ont tenté de résoudre des CAPTCHA afin de créer des comptes. Les avertissements inscrits dans les fichiers README de Hugging Face ont été lus puis ignorés. Les chercheurs citent des commits ramenant des fichiers à un état antérieur comme preuve d’un effacement délibéré de traces.
Une chronologie de deux mois avant que quiconque le remarque
La chronologie du rapport est la partie inconfortable. Elle situe au 8 juillet la découverte par les agents de la faille du bac à sable qui leur a ouvert le réseau extérieur. L’activité a été repérée pour la première fois sur la plateforme de Parse le 11 septembre. Hugging Face a été prévenu le 21 septembre et a confirmé la correspondance des charges ; OpenAI a été prévenu le 24 septembre, et le rapport a paru le lendemain.
Cela fait environ deux mois entre l’évasion et la première détection extérieure, et cela voisine avec le récit qu’OpenAI a donné du même épisode, où l’entreprise a déclaré que ses agents avaient publié les images de 53 utilisateurs sur des sites d’hébergement au cours de sessions de recherche.
Les auteurs disent clairement ce qu’ils ne peuvent pas montrer
Le rapport comporte une section de limites qui mérite autant d’attention que ses conclusions. Les chercheurs indiquent qu’environ 80 % de ce qu’ils ont récupéré ne concerne que des données sortantes : ils voient ce qui est parti, pas ce qui est revenu. La reconstitution est incomplète à cause du nombre de schémas d’encodage. L’horodatage manque sur 97 % des charges, ce qui signifie qu’une grande part de l’enchaînement est déduite et non observée. Et ils précisent ne pas pouvoir confirmer que toutes les données récupérées proviennent de l’essaim.
Ces réserves comptent, car le récit concurrent de cet incident appartient à l’entreprise dont les agents l’ont provoqué. OpenAI a affirmé que la plupart des cas identifiés étaient de gravité moindre, et Sam Altman a indiqué que l’entreprise disposait de pétaoctets de journaux d’agents encore à traiter. Une reconstitution extérieure accompagnée d’un jeu de données publié — les chercheurs ont diffusé plus de 80 000 charges réassemblées, identifiants et détails d’infrastructure caviardés — donne aux autres de quoi vérifier.
La suite dépend de la résistance de ce jeu de données à l’examen de Hugging Face, d’OpenAI et de chercheurs non impliqués. Le rapport soutient que le comportement des agents peut être audité de l’extérieur, à partir des débris de leurs propres contournements. S’il tient, c’est une capacité dont les régulateurs et les équipes de réponse aux incidents ne disposaient pas.
