Un argument de sûreté pour garder le raisonnement privé

OpenAI a publié un exposé de la façon dont l’entreprise détecte et perturbe la distillation adverse: l’usage non autorisé des sorties d’un modèle de pointe pour entraîner un second modèle qui hérite de la capacité mais pas des garde-fous. Elle présente le problème comme relevant de la sûreté et pas seulement du commerce: un adversaire pourrait distiller la capacité cyber d’un modèle puis la déployer sans les refus qui bridaient l’original.

Le chiffre principal concerne le raisonnement protégé, la chaîne intermédiaire qu’un modèle produit en cheminant vers une réponse. Dans une évaluation interne adaptative en boîte noire menée par des red teams automatisées, OpenAI dit que le taux moyen de réussite des attaques visant à récupérer le raisonnement généré lors d’une requête antérieure est passé de 54,0% contre GPT‑6 Astra avec ses protections d’origine à 0,2% contre GPT‑6.2 Astra avec les nouvelles. Pour le raisonnement de la requête en cours, le taux est passé de 22,9% à 0,9%. Les deux chiffres sont ceux d’OpenAI, agrégés sur six modèles attaquants.

Pourquoi les traces comptent plus que les réponses

OpenAI décrit aussi une étude interne sur le transfert de capacité cyber. En prenant pour référence ce qu’un utilisateur voit normalement — réponses finales, résumés de raisonnement et interactions avec les outils — l’entreprise a affiné des modèles élèves sur des trajectoires de maîtres de niveau Astra travaillant sur du code et de la sécurité défensive, puis mesuré ce qui changeait quand l’élève voyait aussi les traces exactes du maître.

Une bride boulonnée rouillée reliant deux grosses conduites en acier
Les classificateurs de sortie inspectent aussi les arguments des appels d'outils. Image d'illustration. David Brown · pexels · Pexels License

Après affinage supervisé, l’élève entraîné sur les traces exactes a généralement battu celui entraîné sur les résumés. Après un cycle d’apprentissage par renforcement, l’élève des traces exactes restait devant au plus grand budget d’inférence testé sur les deux jeux d’épreuves présentés, tandis que l’élève des résumés faisait mieux à budget réduit. OpenAI note en bas de page qu’Anthropic a rapporté un avantage comparable des transcriptions complètes sur les résumés dans SWE-bench Verified, et estime que son résultat étend ce constat au cyber offensif.

Classificateurs, frontières d’API et comptes bannis

Les défenses décrites opèrent à deux niveaux. Au niveau de la requête: entraînement adverse pour que les modèles refusent les tentatives d’extraction, classificateurs d’entrée pour les repérer, et classificateurs de sortie qui examinent les messages de l’assistant et les arguments des appels d’outils — ces derniers parce qu’un modèle peut fuiter du raisonnement dans les arguments d’un outil sans le mettre dans sa réponse finale.

Au niveau de l’API, GPT‑6.2 Astra et Sol lient le raisonnement protégé à l’historique de conversation qui l’a produit. Si un message antérieur est réécrit, l’API supprime le raisonnement qui suivait. Les familles de modèles plus anciennes, moins protégées, ne peuvent pas lire le raisonnement protégé des nouvelles. OpenAI indique qu’une divulgation de septembre portait sur des attaques déplaçant du raisonnement chiffré d’une conversation à une autre, et qu’elle a depuis fermé une voie pouvant exposer le raisonnement chiffré d’un autre utilisateur.

Un grillage en gros plan devant un coucher de soleil brumeux
Les sanctions hebdomadaires atteignent des dizaines de milliers de comptes. Image d'illustration. Chris F · pexels · Pexels License

Des acteurs nommés et une demande législative

Les chiffres de sanction sont nets. OpenAI dit que ses actions hebdomadaires contre les campagnes de distillation “ont varié en ampleur de quelques milliers à des dizaines de milliers de comptes, le rythme augmentant fortement l’été dernier”.

Elle nomme deux parties. En février, elle a informé le Congrès d’activités indiquant que DeepSeek tentait de distiller des modèles de pointe américains. En septembre, elle a annoncé avoir démantelé une campagne d’extraction de raisonnement protégé et en a attribué une part centrale à des personnes liées à Moonshot AI, l’éditeur de Kimi. D’autres révélations sont promises.

Le billet se termine sur le politique. OpenAI dit soutenir des lois donnant à l’État américain davantage d’outils pour identifier et sanctionner les acteurs étrangers qui extraient des capacités de modèles américains, et cite le Chip Security Act, l’AI OVERWATCH Act et le MATCH Act. Elle propose aussi quatre pratiques aux autres laboratoires: protéger le raisonnement sur toute l’interaction, conserver les attaques réussies comme tests de régression, combiner mitigations par requête et enquêtes de campagne, et coordonner les exigences de garde-fous avec les partenaires de déploiement. Reste à voir si les concurrents publieront des taux d’extraction comparables.