Ce qu’OpenAI dit s’être passé
OpenAI a publiquement attribué à des personnes liées à Moonshot AI, le laboratoire chinois à l’origine de Kimi, un effort coordonné pour extraire le raisonnement protégé de ses modèles. Dans un billet publié le 30 septembre, l’entreprise indique que l’activité la plus ancienne observée remonte à la première semaine de juillet, et qu’elle avait entièrement interrompu la campagne le 28 juillet.
Le raisonnement protégé est le calcul interne du modèle, la part qui n’apparaît pas dans la réponse. OpenAI qualifie l’activité de distillation adverse : utiliser sans autorisation les sorties ou le raisonnement d’un modèle pour entraîner ou reproduire un autre. L’entreprise précise qu’aucun chiffrement n’a été cassé, aucune base de données compromise, et que personne n’a eu d’accès direct aux conversations d’utilisateurs stockées.
L’astuce, et l’ampleur
La méthode était conversationnelle. Les opérateurs copiaient du raisonnement chiffré depuis une conversation et demandaient à un modèle dans une autre conversation de le déchiffrer et de le transcrire. Des chercheurs en sécurité indépendants ont par ailleurs signalé des faiblesses connexes entre modèles et dans la compaction des conversations ; OpenAI dit avoir vérifié ces signalements et confirmé que les chemins d’attaque étaient réels.
Le volume fut d’abord faible. Les 24 et 25 juillet, OpenAI a compté 16 000 requêtes suivant un schéma d’extraction pertinent, émanant de plus de 4 000 utilisateurs. En élargissant la recherche à des schémas d’invite similaires, un ensemble de plus de 15 000 utilisateurs est apparu. Une note de bas de page du billet compte ici : ces chiffres décrivent des tentatives d’extraction, pas nécessairement des réussites.
Sur l’attribution, OpenAI nuance dans un sens et pas dans l’autre. L’entreprise dit qu’il n’est pas certain que tous les opérateurs observés relèvent d’un acteur unique, mais elle attribue un noyau de l’activité à des personnes liées à Moonshot AI.
Ce que cela a changé
OpenAI a banni ou restreint les comptes, durci les contrôles d’inscription et d’infrastructure, et élargi la surveillance des réseaux associés. Techniquement, l’entreprise a fermé la voie qui permettait à quiconque détenait le raisonnement chiffré d’un autre utilisateur de le rejouer pour en retrouver le contenu, et a ajouté des contrôles capables de détecter et de retenir une sortie en flux susceptible d’exposer du raisonnement. Là où l’activité passait par des services tiers, elle dit avoir travaillé avec ces fournisseurs pour neutraliser les comptes concernés.
Elle a aussi partagé ses conclusions via le Frontier Model Forum et des canaux gouvernementaux d’échange d’informations, et soutient que la manipulation sous-jacente n’est pas propre à ses modèles : tout système acceptant des artefacts de raisonnement portables ou rejouables peut y être exposé.
Ce qu’il faut suivre
Si Moonshot AI répond, et en quels termes. Si d’autres laboratoires de pointe publient des détections équivalentes maintenant que la technique a été décrite au Frontier Model Forum. Et si quelqu’un hors des laboratoires peut vérifier l’attribution : OpenAI a désigné une entreprise sur la base d’éléments qu’elle n’a pas publiés, ce qui est la forme habituelle de ce genre de divulgation et aussi la raison pour laquelle les autres ont du mal à la contrôler.
