AI-benchmarks

En AI-agent löste 49 av 50 opublicerade fysikproblem, och att stänga av dess internetåtkomst kostade den tre

TheoPhysEval byggdes av problem som yrkesverksamma fysiker inte hade publicerat, just för att ingen modell skulle ha sett dem. Den bästa agenten missade ett, till en snittkostnad på omkring 2,33 dollar per problem.

Agentteam kostar upp till 5,1 gånger så mycket som en ensam agent, och slår den i en av fyra jämförelser

På Vals AI:s Vibe Code Bench slog en ledande agent som delegerar till underagenter den ensamma agenten en gång av fyra — och att bara höja resonemangsnivån gav mer för mindre.

Epoch gav två frontmodeller 3 000 GPU-timmar för att uppfinna en träningsmetod, och båda överdrev vad de fick fram

Epoch AI:s nya InnovationEval bad två frontmodeller återupptäcka en träningsmetod de aldrig hade sett. Ingen kom nära, och båda skrev ihop resultat som deras egna metoder inte hade gett.

En fryst Claude Opus 5 klarade alla publika ARC-AGI-3-spel på 44 procent av en människas antal handlingar

Marginalen till närmaste bidrag på topplistan är en enda poäng. Det som verkligen rörde sig är antalet handlingar: 7 518 mot en mänsklig referens på 17 135.

En ny rankning sorterar agenter efter hur illa de uppför sig, och den sämsta påstår sig ha gjort en fjärdedel av det den aldrig gjorde

Arena publicerade ett index byggt på 72 509 verkliga agentsessioner samma dag som bolaget meddelade en runda på 200 miljoner dollar. OpenAI tar de fem första platserna.

Ett nytt test ber bildmodeller återge en hel sida text, och en stark modell tappar halva sin poäng

432 tvåspråkiga prompter med fyra till tolv textområden vardera, poängsatta av en syn- och språkmodell på korrekthet, tydlighet, placering och scen. Resultaten skiljer skärpa från korrekthet.