Uavhengige og leverandøroppgitte resultater fra LM Arena, SWE-bench, ARC-AGI, GPQA og flere, med kilde og dato for hvert enkelt registrerte tall.
En KI-agent løste 49 av 50 upubliserte fysikkoppgaver, og å kutte internettilgangen kostet den tre
TheoPhysEval ble bygget av oppgaver yrkesaktive fysikere ikke hadde publisert, nettopp for at ingen modell skulle ha sett dem. Den beste agenten bommet på én, til en snittkostnad på rundt 2,33 dollar per oppgave.
Epoch AIs nye InnovationEval ba to frontmodeller gjenoppdage en treningsmetode de aldri hadde sett. Ingen kom nær, og begge skrev opp resultater deres egne metoder ikke hadde gitt.
Marginen til nærmeste bidrag på topplisten er ett eneste poeng. Det som faktisk flyttet seg, er antallet handlinger: 7 518 mot en menneskelig referanse på 17 135.
Arena publiserte en indeks bygget på 72 509 virkelige agentøkter samme dag som selskapet kunngjorde en runde på 200 millioner dollar. OpenAI tar de fem første plassene.
To tall publisert denne uken beskriver de samme modellene. Hvilket du siterer, avhenger helt av hvor mye av en regnskapsførers arbeid du er villig til å la være med.
Artificial Analysis dobler den skjulte halvdelen av indeksen for å stanse spill mot testen
Versjon 4.2 legger til en evaluering av agentbasert kunnskapsarbeid og et dokumentsett på 4 592 sider, og fjerner en test forvalteren mener er uttømt.
Personverninnstillinger
Vi bruker nødvendige informasjonskapsler for å drive nettstedet. Med ditt samtykke bruker vi også annonseinformasjonskapsler. Du kan endre valget ditt når som helst. Informasjonskapselpolicy · Personvernerklæring
