Benchmark
Vad benchmarken Real-SWE mäter, hur Specific Labs kör den och de registrerade modellresultaten, där varje siffra visas med källa, utvärderingsdatum…
Inga verifierade resultat registrerade ännu.
Ett kodningstest byggt på licensierade privata kodbaser rankar Fable 5.1 först med 38,8 %
Resultaten kommer från testskaparens egna körningar, inte från modellföretagen, och bygger hittills på tio uppgifter som varje modell fick försöka lösa åtta gånger.
Integritetsinställningar
Vi använder nödvändiga cookies för att driva webbplatsen. Med ditt samtycke använder vi även annonscookies. Du kan ändra ditt val när som helst. Cookiepolicy · Integritetspolicy
