AI-benchmarks

En AI-agent løste 49 af 50 upublicerede fysikopgaver, og at afskære den fra internettet kostede den tre

TheoPhysEval blev bygget af opgaver, som aktive fysikere ikke havde offentliggjort, netop for at ingen model kunne have set dem. Den bedste agent missede én, til en gennemsnitspris på omkring 2,33 dollar per opgave.

Epoch gav to frontmodeller 3.000 GPU-timer til at opfinde en træningsmetode, og begge overdrev hvad de nåede

Epoch AI's nye InnovationEval bad to frontmodeller genopdage en træningsmetode, de aldrig havde set. Ingen kom nær, og begge skrev resultater op, som deres egne metoder ikke havde givet.

En frossen Claude Opus 5 klarede alle offentlige ARC-AGI-3-spil på 44 procent af et menneskes handlinger

Marginen til nærmeste bidrag på listen er et enkelt point. Det, der faktisk flyttede sig, er antallet af handlinger: 7.518 mod en menneskelig reference på 17.135.

En ny rangliste sorterer agenter efter hvor dårligt de opfører sig, og den sidste melder en fjerdedel af arbejdet færdigt uden at gøre det

Arena offentliggjorde et indeks bygget på 72.509 virkelige agentsessioner samme dag, som selskabet meldte om en runde på 200 millioner dollar. OpenAI tager de fem første pladser.

Frontmodeller slår autoriserede revisorer på den nemme halvdel af jobbet og lukker alligevel ikke et regnskab

To tal offentliggjort i denne uge beskriver de samme modeller. Hvilket man citerer, afhænger helt af, hvor stor en del af en revisors arbejde man er villig til at lade være med.

Artificial Analysis fordobler den hemmelige halvdel af sit indeks for at stoppe spil mod testen

Version 4.2 tilføjer en evaluering af agentbaseret vidensarbejde og et dokumentsæt på 4.592 sider, og fjerner en test, som vedligeholderen anser for udtømt.