Lire les paramètres, pas les sorties
Quatre chercheurs du MIT CSAIL — Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab — ont publié des résultats le 2 novembre issus d’un dispositif qu’ils appellent programmation dans l’espace des poids : on remet à un modèle de frontière, le GPT-6 Astra d’OpenAI, les paramètres bruts d’un autre réseau, et on lui demande de les interpréter ou de les réécrire, sans aucune descente de gradient dans la boucle.
Les expériences d’interprétation viennent d’abord. À partir des 17 253 poids de quatre politiques d’apprentissage par renforcement, le modèle a nommé le jeu auquel chacune jouait — Breakout, Pong, Pac-Man et Freeway — dans les quatre cas. À partir d’un modèle de diffusion de 23 824 poids, il a identifié quelle forme le modèle générait. À partir des seuls quatre blocs transformeurs centraux de modèles de langage de 7,2 millions de paramètres, il a déterminé si le modèle avait été entraîné sur du Python, du romaji ou de l’anglais, et localisé les têtes de copie.
Éditer, et écrire depuis zéro
Les résultats d’édition sont les plus nets. Sur un modèle Qwen3.5-0.8B, les auteurs indiquent que le modèle a édité 131 072 poids — 0,016 % des paramètres — et, autorisé à 50 passes avant pour vérifier son travail, a fait passer MATH-500 de 7,9 % à 48,1 %, GSM8K de 13,8 % à 67,1 % et IFEval de 21,0 % à 62,3 %. La part des réponses MATH-500 butant sur la limite de sortie de 32 768 jetons est tombée de 93 % à 33,1 %, ce qui suggère que l’édition a surtout empêché le modèle de boucler.
Dans une tâche de contrôle physique, éditer 3,5 % d’un réseau de 171 664 poids a produit une politique qui a réussi les 1 024 épisodes de test, là où le réseau d’origine n’avait réussi aucun des 256. En partant au contraire de poids tous nuls, des réseaux écrits en une fois ont obtenu 517,4 à Breakout, contre 15,8 pour un agent à gradient de politique entraîné sur 100 millions de pas et 25,3 à 500 millions. Au go 9x9, un réseau de 1,48 million de poids écrit sans aucune passe avant a gagné plus de la moitié de ses parties contre deux réseaux entraînés plus petits ; avec 50 passes, il a battu un réseau de taille égale entraîné sur 20 millions de parties.
Là où cela a échoué
Le compte rendu rapporte aussi ses résultats négatifs. Invité à repérer un modèle Gemma 3 270M flatteur à partir des seuls poids, le modèle n’a pas réussi ; il n’y est parvenu qu’autorisé à inspecter les motifs d’attention. Et sur Gemma 3 270M, qui selon les auteurs boucle rarement, la méthode d’édition n’a produit aucun gain significatif : MATH-500 est passé de 6,8 % à 7,7 % au mieux. Ce schéma colle au chiffre de la limite de jetons : les gros gains sont venus là où il y avait des boucles à supprimer.
Tous les chiffres ici sont ceux des auteurs, mesurés avec un modèle construit par OpenAI, et aucun n’a été reproduit de façon indépendante.
À surveiller
Si la méthode tient hors de ce compte rendu, elle coupe dans deux directions à la fois. C’est un nouvel outil d’interprétabilité : un modèle capable de lire les paramètres d’un autre et de dire ce qu’ils font. C’est aussi un résultat de capacité : le même accès lui permet de changer un comportement à l’échelle de cent mille poids sans entraînement. L’étape utile suivante est une réplication sur des modèles que les auteurs n’ont pas choisis.
