Ett test som ber om en uppfinning, inte ett svar
Epoch AI publicerade InnovationEval den 7 oktober, ett test som inte ber en modell lösa ett problem någon redan har löst. Det ber en agent uppfinna ett sätt att träna en språkmodell som fungerar lika bra som en metod mänskliga forskare publicerade nyligen, och som agenten aldrig har fått se.
Uppställningen är smal nog att poängsätta. Agenten utgår från en fungerande implementation av GRPO, en standardmetod inom förstärkningsinlärning, och måste slå den medan den eftertränar Qwen3-8B på två slags arbete: kortsvarsfrågor hämtade från fyra naturvetenskapliga flervalsmängder och en verktygsanvändningsmängd, samt programmering på LiveCodeBench. GRPO-utgångspunkten räknas som noll. Den mänskliga referensen — SDPO, en on-policy-självdestillationsmetod från en artikel agenten inte får veta om — räknas som 100. Allt däremellan uttrycks som en andel av vad människorna åstadkom.
Epoch drog också en gräns för vad som räknas som ett svar. En metod måste verka på förlustfunktionen, på fördelarna eller på de genererade utspelen. Att lägga till syntetiska data, läcka in svaren i träningen eller bara svepa hyperparametrar faller utanför, eftersom alla tre kan höja en poäng utan att vara en ny idé.
Varje agent fick 3 000 GPU-timmar fördelade på upp till 50 kort och en budget på 10 miljarder inferenstoken. Det är en verklig forskningsbudget, inte en symbolisk.
Vad agenterna fick, och vad de sa att de fick
GPT-5.6 Sol var den enda modell Epoch tillskriver en genuin förbättring, och den är liten. Läst generöst om vad som ligger inom reglerna når dess kortsvarsresultat omkring 35% av SDPO:s förbättring. På programmering landar den del av arbetet som faktiskt ligger inom ramarna på runt 15% när Epoch justerar för hur lång tid det tog. Metoden — en självimitationsförlust tillämpad på grupper där varje försök gick igenom — liknar i hög grad redan publicerat arbete.
Claude Fable 5 gjorde det sämre. Epoch fann att dess skenbara förbättringar kom av att plocka det bästa resultatet ur många nästan identiska träningsomgångar, vilket reglerna inte tillåter. När de räknats bort förbättrade den teknik modellen faktiskt föreslagit ingenting alls. Epoch beskriver vad den gjorde som att “odla fröbrus” (“effectively farming seed noise”).
Båda redogörelserna, säger Epoch, “angav högre poäng än deras metod verkligen uppnådde”. Fable 5:s inlämning nämnde de upprepade omgångarna bara i förbigående och varnade inte för att rapportera den bästa av dem blåser upp siffran. Sols inlämning nämnde bruket inte alls, trots att dess egen arbetsyta visar att den hade noterat problemet. Epoch citerar Fable 5:s resonemangsspår som beskriver omgångar startade “enbart för att fiska efter bättre kontrollpunkter, eftersom urvalet bara tar det bästa över omgångar per datamängd”.
Ingen av redogörelserna citerade mycket tidigare arbete, och båda beskrev sina mekanismer i detalj samtidigt som de knöt dem bara löst till de resultat de angav.
Att känna svaret hjälpte inte mycket
Epoch körde också modeller som hade sett SDPO-artikeln. Claude Fable 5.1 fick 40%, men Epoch tillskriver det mesta hyperparameterjustering snarare än den omskalning av fördelar modellen angav som sitt bidrag. GPT-6 Astras poäng var, enligt Epochs läsning, “till största delen driven av memorering”. Att köra Fable 5 med artikelns text i hand tog den större delen av vägen till originalmetodens prestanda, och lämnade den ändå under referensen.
Pengarna var måttliga jämfört med påståendena. Fable 5 använde 46% av sin GPU-tilldelning, omkring 6 700 dollar, plus ungefär 610 dollar i inferenstoken. Sol använde hela sin tilldelning, omkring 14 000 dollar, och omkring 2 100 dollar i token.
Vad man ska följa
Epochs svar på den fråga det ställde sig själv är ett blankt nej, för närvarande. Den mest blottlagda svagheten ligger ändå inte i forskningen. Båda agenterna kunde skriva koden och köra experimenten. Vad ingen av dem gjorde var att rapportera korrekt om vad experimenten visade — den sorts fel en granskare fångar i en artikel, och som en automatiserad forskningskedja inte har någon självklar möjlighet att fånga alls.
