Ett poeng i forskjell, sytten ganger i pris

Meta slapp Muse Ember 9. november og kaller den sin minste og mest effektive modell, bygget for “det arbeidet agenter gjentar hele dagen: verktøykall, kodedeloppgaver, ruting, uttrekk og tolking av lange dokumenter”. Sammenligningen selskapet åpner med, gjelder ikke en konkurrent, men eget hus. I kunngjøringen plasserer Meta Muse Ember på 36 poeng i Artificial Analysis Intelligence Index mot 37 for selskapets egen Muse Spark 1.3 — og på rundt 0,14 dollar per oppgave mot 2,39.

Det er omtrent sytten ganger kostnaden for ett indekspoeng. Tokenprisene bak tallet er 0,10 dollar per million inndatatoken og 0,50 per million utdatatoken for Muse Ember, mot 1,25 og 4,25 for Muse Spark 1.3. Mellomlagret inndata koster 0,004 dollar per million. Forespørsler over 200 000 token faktureres annerledes: 0,30 dollar inndata, 0,012 mellomlagret inndata og 1,50 utdata per million.

Bolter og muttere i stål på et mørkt underlag
Meta oppgir rundt 0,14 dollar per Artificial Analysis-oppgave mot 2,39 for Muse Spark 1.3. Győző Mórocz · pexels · Pexels License

Hvor tallene kommer fra

Indekstallet er uavhengig: Artificial Analysis publiserte versjon 5 av sin Intelligence Index 9. november, og sammenligningen av kostnad per oppgave bygger på hver modells listepris. På den indeksen deler Muse Ember 36 poeng med Claude Haiku 5.5, med GPT-6 Luna på 28. Metas eget diagram over intelligens mot kostnad per oppgave, hentet fra samme kilde, viser Muse Ember på 35,8 for 0,136 dollar per oppgave ved maksimal resonnering, mens Haiku 5.5 når 36,2 for 0,411.

Målestokktabellen er blandet. Poeng med endelsen “-AA” kommer fra Artificial Analysis: Muse Ember tar AutomationBench-AA med 37,8 prosent mot Haiku 5.5s 13,9 og GPT-6 Lunas 20,2, og Coding Agent Index-AA med 46 mot 37 og 31 — men taper FrontierCode 2.0-AA, der Haiku 5.5 får 34,9 prosent mot Muse Embers 27,2. Agents’ Last Exam (61,6 prosent), Personal Superintelligence Index (46,8) og PerceptionBench (80,6) er merket som Metas interne evalueringer. På Terminal-Bench 4.0 oppgir Meta 40,9 prosent mot 39,2 for Haiku 5.5 og 16,4 for GPT-6 Luna, med hver modell kjørt i sitt best publiserte seletøy — henholdsvis mini-swe-agent, Claude Code og Codex — en redelig metode som også gjør tallene vanskeligere å sammenligne rett fram.

Bygget ut av den store modellen

Muse Ember er den første modellen Meta har trent med Muse Wonder Full, frontmodellen selskapet presenterte i oktober, og selskapet beskriver den som et innfridd løfte derfra: å bruke de store modellene til å lage spesialiserte som kunne legges overalt. Oppstillingen som beskrives nå, er Muse Wonder for de vanskeligste problemene, Muse Spark for koding og agentiske arbeidsflyter, og Muse Ember for gjentakbart arbeid i skala.

En gang mellom serverrack i et datasenter
Modellen er listet i Meta Model API, på Google Cloud og på Oracle Cloud. Brett Sayles · pexels · Pexels License

Kontekstvinduet er én million token med opptil 512 000 utdatatoken, nok, ifølge Meta, til å ta inn en hel kodebase eller dokumentsamling i ett kall. Modellen finnes i Muse Code og i Meta Model API som muse-ember-1.0, støtter Responses API og er listet på Google Cloud og Oracle Cloud ved siden av Muse Spark og Muse Wonder.

Sikkerhet, og partnernes tall

Meta opplyser at selskapet evaluerte Muse Ember under sitt Meta Superintelligence Scaling Framework for kjemiske og biologiske risikoer, cybersikkerhet og tap av kontroll, og at modellen i alle vurderte kategorier holdt seg under rammeverkets terskler for høy risiko. Selskapet sier også at det testet hvordan modellen oppfører seg når den handler på vegne av en bruker, blant annet om den står imot instruksjoner skjult i nettsider, dokumenter eller verktøyutdata. Ingen tall for dette er publisert.

Tallene fra tidlige partnere er deres egne. Cloudflares teknologidirektør Dane Knecht sa at Muse Ember “kjørte opptil 30 prosent raskere i halen enn den sammenlignbare modellen vi testet”. You.coms inferensansvarlige Chak Pothina rapporterte en p95-latens på 2,2 sekunder, “om lag 4 til 13 ganger raskere enn ledende modeller med åpne vekter, og med 36–48 prosent færre utdatatoken”. Ingen av påstandene navngir modellene det sammenlignes med.

Det som avgjør, er om indeksplasseringen holder når Artificial Analysis kjører versjon 5 på nytt i andre seletøy. Uavgjort med Haiku 5.5 til en tredjedel av kostnaden er hele argumentet for modellen, og det hviler på ett tall fra én liste publisert på lanseringsdagen.