En promptändring, ett omslag på 52 punkter
Allen Institute for AI släppte den 27 oktober ett benchmark för en uppgift som i tysthet blivit bärande: att låta en språkmodell avgöra om en forskningsidé är ny. Ai2 kallar det Old Ideas, Novel Problems, och huvudfyndet är att domarna inte är stabila.
Vid en enda promptändring föll GPT-5.4:s träffsäkerhet på par av mänskliga mot genererade idéer från 93,5% till 40,9%. Samma slags ändring flyttade Claude Opus 4.6 med 21 punkter på den enbart mänskliga mängden. Över generatorjämförelserna ändrades i snitt ungefär en fjärdedel till en tredjedel av utslagen. Det är inte gränsfall som rör sig i marginalen: en domare som får 40,9% på ett tvåvalsbeslut presterar sämre än ett slantsingel.
Så är testet byggt
Ai2 hämtade sina mänskliga idéer från sakkunniggranskningar till ICLR 2026 och delade dem i en pool med hög nyhetsgrad på 154 idéer och en med lägre nyhetsgrad på 145. Ett andra upplägg, Human+Generated, ställer de 154 mänskliga idéerna mot 154 idéer från en enkel LLM-generator. Domarna testas i två format: punktvis, där en idé bedöms för sig, och parvis, där den mest nyskapande av två ska väljas.
Sex domare kördes: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 och Claude Opus 4.6. Ai2 publicerade datamängden, koden och en pipeline för att bygga fler utvärderingsmängder tillsammans med resultaten.
Den billiga baslinjen vinner
Kostnadsjämförelsen är det en forskargrupp agerar på. En enkel baslinje med Claude Opus 4.6 och en rak prompt fick 0,854 i makro-F1 för 2,59 dollar. Idea Novelty Checker, ett specialbyggt verktyg, fick 0,642 för 30,66 dollar. Sakanas AI Scientist-utvärderare fick 0,772 för 82,05 dollar. Den enkla prompten slog båda verktygen i både träffsäkerhet och kostnad på samma gång.
Att lägga till agentförmåga räddade det inte heller. En agentisk GPT-5.6 Sol-domare nådde 0,78 i makro-F1, under de 0,89 som Claude Opus 4.6 klarade. Ai2:s tolkning är att mer sökning och mer resonerande inte tillförlitligt förbättrar bedömningar av nyhetsgrad.
Varför det spelar roll nu
Automatiska nyhetskontroller sitter inne i de idégenereringsflöden som labb och startups använder för att filtrera maskinskapade forskningsförslag, och allt oftare inne i granskningsflöden. Om en domares utslag vänder när en prompt skrivs om mäter filtret inte nyhetsgrad: det mäter prompten.
Ai2 rapporterar att skörheten är värre för AI-genererade idéer än för mänskliga, vilket är precis det fall systemen sätts in för att hantera. Det praktiska rådet som faller ut är inte smickrande för verktygsmarknaden: innan du köper en nyhetsutvärderare, testa en rak prompt mot den och kontrollera om dess utslag överlever att instruktionerna skrivs om.
