Företaget uppger att antalet resonemangstokens som destillatörer lyckas dra ut nu är 10 till 100 gånger lägre än förut, och att det avvisat biljoner tokens av betalande trafik.
Benchmark
SWE-bench Verified
Vad benchmarken SWE-bench Verified mäter, hur OpenAI and the SWE-bench team kör den och de registrerade modellresultaten, där varje siffra visas med…
- Ansvarig
- OpenAI and the SWE-bench team
- Poäng
- %
- Senast kontrollerad
- 2 september 2026
Topplista
Inga verifierade resultat registrerade ännu.
Relaterade nyheter
Siffrorna är Salesforces egna, om bolagets eget ramverk. Det intressanta är att de uppnåtts helt utan finjustering av modellen.
Anthropic släpper Claude Fable 5.1 och sänker cachepriset med 75 procent
De två modellerna är samma system under olika skyddsregimer. Det som syns i utvecklarnas faktura är inte benchmarktabellen utan prisändringen.