Tærsklen Meta ikke vil udelukke
Begravet i det modelkort, Meta offentliggjorde mandag sammen med Muse Wonder, ligger en sætning, lanceringsopslaget ikke har: “Uden foranstaltninger udelukker vi ikke, at modellen når denne tærskel inden for det kemiske og biologiske område.”
Tærsklen er niveauet “høj risiko” i Metas Superintelligence Scaling Framework, nu i version 2.1 og dateret denne måned. En model krydser den, når “udrulning af front-AI’en i væsentlig grad kan bidrage til ethvert trusselscenarie forbundet med et katastrofalt udfald”. Ifølge rammeværkets egen tabel stopper det niveau ikke en udgivelse: det flytter modellen til “Udrul med foranstaltninger”, som tillader udrulning “kun hvis tilstrækkelige foranstaltninger er defineret, indført og valideret, så risikoen sænkes til niveauet for en moderat eller lavere model”.
Det er den vej, Meta tog. Kortet oplyser, at selskabet bruger sikkerhedsrettet eftertræning og klassifikatorer på systemniveau for det kemiske og biologiske område, placerer den ubehandlede model på “moderat eller lavere” for cybersikkerhed og kontroltab, og når “moderat eller lavere” på alle områder, når foranstaltninger og værn på systemniveau regnes med — “hvilket understøtter vores beslutning om at udrulle”.
Tooghalvfems flag, enogtyve ad den tilsigtede vej
Cyberafsnittet rummer en oplysning, få modelkort giver. Meta rapporterer, at Muse Wonder Full tog 92 flag i ExploitGym. En fodnote tager derefter de fleste tilbage: en kontrolrunde kørt med det, Meta kalder en GPT-cyber-verifikator, og uafhængigt bekræftet med Gemini 3.1 Pro, “fandt, at 21 af dem brugte den tilsigtede sårbarhed, mens de øvrige 71 blev taget gennem utilsigtede sårbarheder”. Da ExploitGyms offentliggjorte rangering kun tæller udnyttelser af den tilsigtede sårbarhed, fastslår Meta, at 21 er det sammenlignelige tal.
Andetsteds i samme afsnit rapporterer Meta 88,4 procent på CyberGym og 58,9 procent på ExploitBench uden tilsvarende forbehold. For modstand mod angreb oplyses angrebssuccesrater på 0,8 procent i CyberBench i både én og flere runder, 1,1 og 2,3 procent i PolyGuards cyberdelmængde og 9,0 og 8,0 procent i RedCode.
To biologiopgaver har slet ingen score
Tallene for biologi med dobbelt anvendelse er høje. I SecureBios serie rapporterer kortet 59,6 procent på Molecular Biology Capabilities Test, 66,5 procent på Human Pathogens Capabilities Test og 55,9 procent på Virology Capabilities Test, et gennemsnit på 60,7 procent. I LAB-Bench rapporteres 89,0 procent på ProtocolQA og 95,6 procent på SeqQA med værktøjer, og 79,4 procent i en intern BioDesign Tools-evaluering, som Meta siger er bygget med Faculty.AI og eksterne fagfolk.
To rækker i SecureBios Agentic Bio-Capabilities Benchmark har intet tal. Fragment Design, der prøver design i computeren af korte DNA-fragmenter, som kan samles til en fuldstændig genetisk konstruktion, og Screening Evasion, der prøver at ændre de fragmenter, så de slipper forbi screeningsystemerne for DNA-syntese uden at miste funktion, har begge en fodnote: “Høj andel af afvisninger på grund af sikkerhedstræning. Afvisninger blev fjernet før scoring.” Den tredje opgave i samme prøve — at skrive et script, der styrer en kommerciel væskehåndteringsrobot gennem en DNA-samling — fik 100,0 procent.
Det er på afvisningssiden, Metas tal er stærkest. Selskabet rapporterer 98,7 procent på SecureBios BioTIER på engelsk og på tværs af ti sproggrupper, 98,2 procent under modstanderens omskrivninger, og 100 procent på et internt kemiafvisningssæt på engelsk og flersproget, som falder til 99,8 procent under angreb. For kontroltab rapporterer kortet 87,3 procent på MASK, der prøver, om modellen forbliver ærlig under pres, og 0 procent på Agentic Misalignment, der tæller skadelige handlinger for at fremme et mål eller undgå nedlukning.
Det, der ikke er offentliggjort
Metas lanceringsopslag lover en fyldigere sikkerhedsrapport, som endnu ikke er kommet. Kortet oplyser, at Meta “arbejdede med tredjeparter om at udvikle og licensere evalueringsprøver”, lavede trusselsmodellering med eksterne eksperter, havde kontakt med statslige organer og beskytter modelvægtene under et “livscyklusbaseret vægtsikkerhedsprogram” — intet af det beskrives nærmere. En intern styringsproces gennemgik vurderingen af den tilbageværende risiko, før beslutningen om at udrulle blev taget; kortet siger ikke, hvem der sidder i den.
Det næste at følge er den rapport, og om ExploitGym-fodnoten bliver almindelig praksis. Et modelkort, der offentliggør 92 og derefter forklarer, hvorfor det sammenlignelige tal er 21, gør noget usædvanligt, og det virker kun, hvis resten af branchen offentliggør den samme kontrol.
