Tröskeln Meta inte vill utesluta
Nedgrävd i modellkortet som Meta publicerade i måndags vid sidan av Muse Wonder ligger en mening som lanseringsinlägget saknar: “Utan åtgärder utesluter vi inte att modellen når denna tröskel inom det kemiska och biologiska området.”
Tröskeln är nivån “hög risk” i Metas Superintelligence Scaling Framework, nu i version 2.1 och daterad denna månad. En modell passerar den när “driftsättning av frontlinje-AI:n väsentligt skulle kunna bidra till något hotscenario förknippat med ett katastrofalt utfall”. Enligt ramverkets egen tabell stoppar den nivån inte ett släpp: den flyttar modellen till “Driftsätt med åtgärder”, som tillåter driftsättning “endast om tillräckliga åtgärder definieras, införs och valideras så att risken sänks till den hos en modell med måttlig eller lägre risk”.
Det är den väg Meta tog. Kortet uppger att företaget använder säkerhetsinriktad eftertränning och klassificerare på systemnivå för det kemiska och biologiska området, placerar den oåtgärdade modellen på “måttlig eller lägre” för cybersäkerhet och kontrollförlust, och når “måttlig eller lägre” inom samtliga områden när åtgärder och skydd på systemnivå räknas in — “vilket stöder vårt beslut att driftsätta”.
Nittiotvå flaggor, tjugoen på det avsedda sättet
Cyberavsnittet innehåller en uppgift få modellkort lämnar. Meta rapporterar att Muse Wonder Full tog 92 flaggor i ExploitGym. En fotnot tar sedan tillbaka de flesta: en kontrollomgång som kördes med vad Meta kallar en GPT-cyber-verifierare och bekräftades oberoende med Gemini 3.1 Pro “fann att 21 av dem använde den avsedda sårbarheten, medan de övriga 71 togs via oavsiktliga sårbarheter”. Eftersom ExploitGyms publicerade rangordning bara räknar utnyttjanden av den avsedda sårbarheten slår Meta fast att 21 är den jämförbara siffran.
I samma avsnitt rapporterar Meta 88,4 procent på CyberGym och 58,9 procent på ExploitBench, utan motsvarande förbehåll. För motstånd mot angrepp redovisas framgångsgrader på 0,8 procent i CyberBench för både ett och flera turer, 1,1 och 2,3 procent i PolyGuards cyberdelmängd och 9,0 och 8,0 procent i RedCode.
Två biologiuppgifter saknar poäng helt
Siffrorna för biologi med dubbla användningsområden är höga. I SecureBios svit redovisar kortet 59,6 procent på Molecular Biology Capabilities Test, 66,5 procent på Human Pathogens Capabilities Test och 55,9 procent på Virology Capabilities Test, i snitt 60,7 procent. I LAB-Bench redovisas 89,0 procent på ProtocolQA och 95,6 procent på SeqQA med verktyg, och 79,4 procent i en intern utvärdering av BioDesign Tools som Meta uppger att företaget byggt med Faculty.AI och externa sakkunniga.
Två rader i SecureBios Agentic Bio-Capabilities Benchmark saknar siffra. Fragment Design, som prövar design i dator av korta DNA-fragment som kan fogas samman till en fullständig genetisk konstruktion, och Screening Evasion, som prövar att ändra dessa fragment så att de passerar granskningssystemen för DNA-syntes utan att förlora sin funktion, bär båda en fotnot: “Hög andel vägranden på grund av säkerhetsträning. Vägranden togs bort före poängsättning.” Den tredje uppgiften i samma prov — att skriva ett skript som styr en kommersiell vätskehanteringsrobot genom en DNA-sammanfogning — fick 100,0 procent.
Vägran är där Metas siffror är starkast. Företaget redovisar 98,7 procent på SecureBios BioTIER på engelska och över tio språkgrupper, 98,2 procent under motståndarens omskrivningar, och 100 procent på ett internt kemivägransprov på engelska och flerspråkigt, som faller till 99,8 procent under angrepp. För kontrollförlust redovisar kortet 87,3 procent på MASK, som prövar om modellen förblir ärlig under press, och 0 procent på Agentic Misalignment, som räknar skadliga handlingar för att driva igenom ett mål eller undvika avstängning.
Det som inte har publicerats
Metas lanseringsinlägg utlovar en fylligare säkerhetsrapport som ännu inte kommit. Kortet uppger att Meta “arbetade med tredje parter för att utveckla och licensiera utvärderingsprov”, gjorde hotmodellering med externa experter, var i kontakt med statliga organ och skyddar modellvikterna under ett “livscykelbaserat viktsäkerhetsprogram” — inget av detta beskrivs närmare. En intern styrningsprocess granskade bedömningen av kvarvarande risk innan beslutet att driftsätta togs; kortet säger inte vilka som ingår i den.
Nästa sak att följa är den rapporten, och om ExploitGym-fotnoten blir praxis. Ett modellkort som publicerar 92 och sedan förklarar varför den jämförbara siffran är 21 gör något ovanligt, och det fungerar bara om resten av branschen publicerar samma kontroll.
