Terskelen Meta ikke vil utelukke
Nedgravd i modellkortet Meta la ut på mandag sammen med Muse Wonder ligger en setning lanseringsinnlegget ikke har: “Uten tiltak utelukker vi ikke at modellen når denne terskelen i det kjemiske og biologiske området.”
Terskelen er nivået “høy risiko” i Metas Superintelligence Scaling Framework, nå i versjon 2.1 og datert denne måneden. En modell passerer den når “utrulling av front-KI-en i vesentlig grad kan bidra til et trusselscenario forbundet med et katastrofalt utfall”. Ifølge rammeverkets egen tabell stopper ikke det nivået et slipp: det flytter modellen til “Rull ut med tiltak”, som tillater utrulling “bare dersom tilstrekkelige tiltak er definert, innført og validert slik at risikoen senkes til nivået for en moderat eller lavere modell”.
Det er veien Meta gikk. Kortet opplyser at selskapet bruker sikkerhetsrettet ettertrening og klassifikatorer på systemnivå for det kjemiske og biologiske området, plasserer den utiltaksbehandlede modellen på “moderat eller lavere” for cybersikkerhet og kontrolltap, og når “moderat eller lavere” på alle områder når tiltak og vern på systemnivå regnes med — “noe som støtter vår beslutning om å rulle ut”.
Nittito flagg, tjueen på den tiltenkte måten
Cyberdelen inneholder en opplysning få modellkort gir. Meta rapporterer at Muse Wonder Full tok 92 flagg i ExploitGym. En fotnote tar så de fleste tilbake: en kontrollrunde kjørt med det Meta kaller en GPT-cyber-verifikator, og uavhengig bekreftet med Gemini 3.1 Pro, “fant at 21 av dem brukte den tiltenkte sårbarheten, mens de øvrige 71 ble tatt gjennom utilsiktede sårbarheter”. Siden ExploitGyms publiserte rangering bare teller utnyttelser av den tiltenkte sårbarheten, slår Meta fast at 21 er det sammenlignbare tallet.
Andre steder i samme del rapporterer Meta 88,4 prosent på CyberGym og 58,9 prosent på ExploitBench, uten tilsvarende forbehold. For motstand mot angrep oppgis angrepssuksessrater på 0,8 prosent i CyberBench både i én og flere runder, 1,1 og 2,3 prosent i PolyGuards cyberdelmengde, og 9,0 og 8,0 prosent i RedCode.
To biologioppgaver har ingen poengsum i det hele tatt
Tallene for biologi med dobbelt bruksområde er høye. I SecureBios serie rapporterer kortet 59,6 prosent på Molecular Biology Capabilities Test, 66,5 prosent på Human Pathogens Capabilities Test og 55,9 prosent på Virology Capabilities Test, et snitt på 60,7 prosent. I LAB-Bench rapporteres 89,0 prosent på ProtocolQA og 95,6 prosent på SeqQA med verktøy, og 79,4 prosent i en intern BioDesign Tools-evaluering Meta sier er bygget med Faculty.AI og eksterne fagfolk.
To rader i SecureBios Agentic Bio-Capabilities Benchmark har ingen tall. Fragment Design, som prøver design i datamaskin av korte DNA-fragmenter som settes sammen til en fullstendig genetisk konstruksjon, og Screening Evasion, som prøver å endre fragmentene slik at de slipper forbi screeningsystemene for DNA-syntese uten å miste funksjon, har begge en fotnote: “Høy andel avslag på grunn av sikkerhetstrening. Avslag ble fjernet før poengsetting.” Den tredje oppgaven i samme prøve — å skrive et skript som styrer en kommersiell væskehåndteringsrobot gjennom en DNA-sammensetning — fikk 100,0 prosent.
Det er på avslagssiden Metas tall er sterkest. Selskapet rapporterer 98,7 prosent på SecureBios BioTIER på engelsk og over ti språkgrupper, 98,2 prosent under motstanderens omskrivinger, og 100 prosent på et internt kjemiavslagssett på engelsk og flerspråklig, som faller til 99,8 prosent under angrep. For kontrolltap rapporterer kortet 87,3 prosent på MASK, som prøver om modellen forblir ærlig under press, og 0 prosent på Agentic Misalignment, som teller skadelige handlinger for å fremme et mål eller unngå avstenging.
Det som ikke er publisert
Metas lanseringsinnlegg lover en fyldigere sikkerhetsrapport som ennå ikke er kommet. Kortet opplyser at Meta “arbeidet med tredjeparter for å utvikle og lisensiere evalueringsprøver”, gjorde trusselmodellering med eksterne eksperter, hadde kontakt med statlige organer og beskytter modellvektene under et “livsløpsbasert vektsikkerhetsprogram” — uten å beskrive noe av det nærmere. En intern styringsprosess gjennomgikk vurderingen av gjenværende risiko før beslutningen om å rulle ut; kortet sier ikke hvem som sitter i den.
Det neste å følge med på er den rapporten, og om ExploitGym-fotnoten blir vanlig praksis. Et modellkort som publiserer 92 og så forklarer hvorfor det sammenlignbare tallet er 21 gjør noe uvanlig, og det virker bare dersom resten av bransjen publiserer den samme kontrollen.
