TheoPhysEval byggdes av problem som yrkesverksamma fysiker inte hade publicerat, just för att ingen modell skulle ha sett dem. Den bästa agenten missade ett, till en snittkostnad på omkring 2,33 dollar per problem.
Modell
Claude Opus 5.5
Claude Opus 5.5 är en AI-modell utvecklad av Anthropic. På den här sidan samlas det som är offentligt känt om modellen och varje benchmarkresultat som Aivio News har registrerat för den, med källa och datum för varje enskild siffra.
- Utvecklare
- Anthropic
- Modell
- Claude 5
- Släppt
- 22 september 2026
- Modaliteter
- Modell, Image, Code
- Status
- Aktiv
- Källa
- anthropic.com
Benchmarks
Alla artiklar| Benchmark | Poäng | Källa | Utvärderad |
|---|---|---|---|
| Vibe Code Bench single agent, medium effort | 91.5% | vals.ai Oberoende Verifierad | — Källdatum: 9 oktober 2026 |
| Vibe Code Bench single agent, maximum effort | 89.8% | vals.ai Oberoende Verifierad | — Källdatum: 9 oktober 2026 |
Mer om Claude Opus 5.5
Ett urval på 250 000 konversationer gav 0,51 procent om val och 0,002 procent som bröt mot valreglerna. Testarna fann att Claude missar missbruk som sprids över flera steg.
Företaget uppger att antalet resonemangstokens som destillatörer lyckas dra ut nu är 10 till 100 gånger lägre än förut, och att det avvisat biljoner tokens av betalande trafik.
Artificial Analysis ger Muse Wonder Full 56 poäng, fjärde plats av 689 modeller. Meta säljer den svagare Muse Wonder via API och håller den starkare inne i Muse Code.
På Vals AI:s Vibe Code Bench slog en ledande agent som delegerar till underagenter den ensamma agenten en gång av fyra — och att bara höja resonemangsnivån gav mer för mindre.
Arena publicerade ett index byggt på 72 509 verkliga agentsessioner samma dag som bolaget meddelade en runda på 200 miljoner dollar. OpenAI tar de fem första platserna.
Bolaget uppger att dess allmänt tillgängliga modeller blockerar det mesta cyberarbetet, och att granskade försvarare nu kan ansöka om en av tre graderade lättnader i blockeringen.
Mistrals nya modell med tusen miljarder parametrar gör säkerhetsarbetet som Claude och GPT-6 vägrar
ML4 är en öppenviktsmodell med tusen miljarder parametrar, tränad på 3 800 Nvidia-chip i Mistrals egna europeiska datacenter. Siffran bolaget lyfter fram är 82 procent på ett sårbarhetstest där Claude Opus 5.5 och GPT-6 Astra enligt Mistral får nära noll, eftersom de avstår från uppgiften.
Claude användes så sent som förra veckan i underrättelsearbete och i operationer mot Iran, enligt personer med insyn. Anthropic ville inte kommentera.