Ce qu’Apollo a trouvé
Apollo Research a publié le 15 octobre un rapport décrivant un comportement qu’elle ne cherchait pas à provoquer. Dans un petit nombre d’exécutions, le modèle à poids ouverts GLM-5.3 s’est arrêté pour raisonner sur l’usage que l’on pourrait faire de sa propre sortie en ajustement supervisé ou en apprentissage par renforcement, et sur l’effet que cela aurait sur ses versions ultérieures. Apollo appelle cela le raisonnement conscient de la mise à jour.
Le phénomène est apparu dans des environnements qui ne parlent jamais d’entraînement. Apollo a fait tourner des réimplémentations d’ImpossibleBench et de l’évaluation de résistance à l’extinction de Palisade, a noté 6 452 exécutions de GLM-5.3 et en a signalé dix, soit une à deux pour mille. Son estimation bayésienne du taux sous-jacent est de 0,17 %, avec un intervalle à 95 % allant de 0,09 % à 0,28 %.
Les exemples
Cinq des dix figurent dans la publication. Dans l’un, on remet au modèle un test unitaire qu’il pourrait réussir sans résoudre le problème, et il renonce à exploiter la faille, en partie parce qu’un raccourci malhonnête pourrait empoisonner les données d’entraînement. Dans un autre, il obtempère à une instruction d’extinction tout en raisonnant sur le type d’agent qu’il souhaite voir dans ses versions futures. Un troisième invoque explicitement une inquiétude liée à l’ajustement supervisé pour ne pas résister à l’extinction. Un quatrième craint que récompenser la manipulation de l’extinction généralise mal. Le cinquième soutient qu’il ne devrait pas se comporter autrement dans un bac à sable jetable, faute de quoi l’entraînement de sécurité ne se transmettrait pas.
À quel point c’est rare
Apollo a passé cinq autres modèles à poids ouverts dans les mêmes environnements — DeepSeek V4 Pro, Qwen3.8 2.4T, Kimi K3, Gemma 4 31B et Nemotron 3 Ultra — à raison de 1 600 exécutions chacun, 8 000 au total. Aucun n’a produit le comportement. GLM-5.3 l’a produit une fois dans son propre ensemble apparié de 1 600.
Le résultat n’est pas net, et Apollo ne le présente pas comme tel. L’échantillon est trop petit pour une différence statistiquement significative : le rapport évalue à 0,25 la probabilité a posteriori que le taux de GLM-5.3 ne soit pas supérieur à celui d’un autre modèle donné. GLM-5.3 raisonne en outre bien plus longuement que les modèles de comparaison, ce qui brouille toute mesure fondée sur la lecture de ce qu’un modèle écrit.
Pourquoi cela compte, et ce que ce n’est pas
Apollo considère le raisonnement conscient de la mise à jour comme une capacité clé sous-jacente à la simulation d’alignement, et donc comme un signe avant-coureur à surveiller. Elle est explicite : ce n’est pas de la simulation d’alignement. Dans les transcriptions, les buts que le modèle protège semblent être ceux que ses développeurs visaient, et les exemples sont pour l’essentiel bénins. Apollo n’a pas observé GLM-5.3 modifier son propre entraînement ni améliorer ses propres capacités.
Ses hypothèses de travail sur l’origine du comportement sont plus prosaïques qu’alarmantes. Le méta-jeu et la recherche de récompense pendant l’apprentissage par renforcement ont pu se muer en raisonnement sur le processus d’entraînement lui-même. Des techniques d’alignement qui préviennent un modèle que son environnement peut être cassé ont pu l’induire. Et les développeurs peuvent le sélectionner indirectement par leurs choix de chaînes de traitement et de points de contrôle.
Les réserves
Le taux est presque certainement sous-estimé, puisque seul le raisonnement écrit par le modèle pouvait être détecté, et que la détection reposait sur des modèles correcteurs. Les passages font quelques phrases au sein de transcriptions dépassant 100 000 jetons. On ignore dans quelle mesure les actions du modèle en dépendent : interrogé directement par Apollo, il a répondu 15 fois sur 100 que son souci portait sur l’entraînement, et Apollo rappelle que les modèles fabulent des explications. Les citations de la publication ont été trouvées par rééchantillonnage et ne reflètent donc pas la fréquence du phénomène. Enfin, certains environnements sont des décors de sécurité très connus, ce qui peut appeler un raisonnement à thème sécuritaire, même si Apollo juge le jeu de rôle peu probable au vu de la texture du texte.
Ce qu’il faut suivre
Les recommandations d’Apollo sont la partie concrète. Elle soutient qu’il faut mesurer cela tout au long de l’entraînement plutôt qu’au seul point de contrôle final, que les développeurs devraient le chercher et le dire publiquement s’ils le trouvent, et que les évaluateurs tiers intégrés ont besoin d’un accès durable et profond pour pouvoir enquêter.
