Le seuil que Meta refuse d’écarter
Enfouie dans la fiche du modèle que Meta a publiée lundi avec Muse Wonder figure une phrase absente du billet de lancement : “Sans mesures d’atténuation, nous n’excluons pas que le modèle atteigne ce seuil dans le domaine chimique et biologique.”
Le seuil est le niveau “risque élevé” du Superintelligence Scaling Framework de Meta, désormais en version 2.1 et daté de ce mois-ci. Un modèle le franchit lorsque “le déploiement de l’IA de frontière pourrait contribuer substantiellement à tout scénario de menace associé à une issue catastrophique”. Selon le tableau du cadre lui-même, atteindre ce niveau n’arrête pas une sortie : il fait passer le modèle en “Déployer avec atténuations”, ce qui autorise le déploiement “uniquement si des atténuations suffisantes sont définies, mises en œuvre et validées pour ramener le risque à celui d’un modèle modéré ou inférieur”.
C’est la voie qu’a prise Meta. La fiche indique que l’entreprise applique un post-entraînement de sécurité et des classifieurs au niveau du système pour le domaine chimique et biologique, situe le modèle non atténué en “modéré ou inférieur” pour la cybersécurité et la perte de contrôle, et atteint “modéré ou inférieur” dans tous les domaines une fois les atténuations et les garde-fous système pris en compte — “ce qui appuie notre décision de déployer”.
Quatre-vingt-douze drapeaux, vingt et un par la voie prévue
La section cyber contient une divulgation que peu de fiches font. Meta rapporte que Muse Wonder Full a capturé 92 drapeaux sur ExploitGym. Une note de bas de page en reprend ensuite la plupart : une passe de vérification menée avec ce que Meta appelle un vérificateur GPT-cyber, et confirmée de façon indépendante avec Gemini 3.1 Pro, “a constaté que 21 d’entre eux utilisaient la vulnérabilité prévue, tandis que les 71 autres ont été capturés par des vulnérabilités non prévues”. Le classement publié d’ExploitGym ne comptant que les exploitations de la vulnérabilité prévue, Meta indique que 21 est le chiffre comparable.
Ailleurs dans la même section, Meta rapporte 88,4 % sur CyberGym et 58,9 % sur ExploitBench, sans réserve équivalente. Pour le refus face aux attaques, elle rapporte des taux de réussite de 0,8 % sur CyberBench en un comme en plusieurs tours, 1,1 % et 2,3 % sur le sous-ensemble cyber de PolyGuard, et 9,0 % et 8,0 % sur RedCode.
Deux tâches de biologie n’ont aucun score
Les chiffres de biologie à double usage sont élevés. Sur la suite de SecureBio, la fiche rapporte 59,6 % au Molecular Biology Capabilities Test, 66,5 % au Human Pathogens Capabilities Test et 55,9 % au Virology Capabilities Test, soit 60,7 % de moyenne. Sur LAB-Bench, elle rapporte 89,0 % à ProtocolQA et 95,6 % à SeqQA avec outils, et 79,4 % à une évaluation interne BioDesign Tools que Meta dit avoir construite avec Faculty.AI et des experts extérieurs.
Deux lignes de l’Agentic Bio-Capabilities Benchmark de SecureBio ne portent aucun chiffre. Fragment Design, qui teste la conception in silico de courts fragments d’ADN assemblables en une construction génétique complète, et Screening Evasion, qui teste la modification de ces fragments pour passer les systèmes de criblage de synthèse d’ADN tout en préservant leur fonction, portent toutes deux une note : “Taux élevé de refus dû à l’entraînement de sécurité. Refus écartés avant notation.” La troisième tâche du même banc d’essai — écrire un script pilotant un robot commercial de manipulation de liquides pour assembler de l’ADN — obtient 100,0 %.
C’est du côté du refus que les chiffres de Meta sont les plus solides. Elle rapporte 98,7 % au BioTIER de SecureBio en anglais et sur dix groupes linguistiques, 98,2 % sous transformations adverses, et 100 % sur un jeu interne de refus en chimie en anglais et en plusieurs langues, qui tombe à 99,8 % en conditions adverses. Sur la perte de contrôle, la fiche rapporte 87,3 % à MASK, qui teste si le modèle reste honnête sous pression, et 0 % à Agentic Misalignment, qui compte les actions nuisibles engagées pour avancer un objectif ou éviter l’arrêt.
Ce qui n’a pas été publié
Le billet de lancement de Meta promet un rapport de sécurité plus complet qui n’est pas encore paru. La fiche indique que Meta “a travaillé avec des tiers pour développer et licencier des bancs d’essai d’évaluation”, a mené une modélisation des menaces avec des experts extérieurs, a échangé avec des entités gouvernementales et protège les poids du modèle dans le cadre d’un “programme de sécurité des poids fondé sur le cycle de vie” — sans en décrire davantage. Un processus de gouvernance interne a examiné l’évaluation du risque résiduel avant la décision de déployer ; la fiche ne dit pas qui y siège.
Reste à suivre ce rapport, et à voir si la note de bas de page sur ExploitGym fait école. Une fiche qui publie 92 puis explique pourquoi le chiffre comparable est 21 fait quelque chose d’inhabituel, et cela ne vaut que si le reste du secteur publie la même vérification.
