Ett riktmärke där svaret redan finns
De flesta agentriktmärken för kunskapsarbete är genererande — bygg en modell, ett memo eller ett kalkylark utifrån ett uppdrag, och låt en bedömningsmall eller en annan modell döma. kw-bench, som lades upp på arXiv den 26 oktober av George Juraj Salapa, går på den andra halvan av yrket: den utredande delen, där svaret redan finns och ska hittas.
Dess första uppgiftsfamilj är en femårig momsrekonstruktion över tre generationer av SAP — gammal ECC, en halvfärdig migrering till S/4HANA och en konsults omdesign. Artikeln säger att data levereras som råa systemutdrag: sidhuvuden, lokala talformat, ofullständiga kopplingstabeller och ingen dokumentation av hur något hänger ihop. Rättningen är deterministisk. Ingen modell sitter som domare.
Resultatet som gör det till en nyhet
Författaren körde fyra ramverk — Claude Code, Codex, OpenCode och micro-cc — på samma modell, DeepSeek v4.1 Flash, i två timmar vardera.
De två modelloberoende ramverken levererade delsvar: OpenCode fick 0,542 och micro-cc 0,528. De två labbramverken, körda på en annan modell än den de byggts kring, fick 0,00 vardera. Artikeln tillskriver misslyckandet tröghet — svårigheten att hålla många svaga signaler vid liv genom en lång session — snarare än ett enskilt felsteg.
På en frontlinjemodell upphör uppgiften att vara svår. micro-cc och Claude Code på Claude Opus 5.5 fick 0,9986 respektive 1,000, på 22 och 25 minuter. Artikelns sammanfattning av det glappet är meningen värd att citera: under frontlinjen avgör ramverket hur långt en modell kommer.
Vad det visar och inte visar
Påståendet är smalare än siffran antyder, och artikeln är öppen med sin räckvidd. Det här är en uppgiftsfamilj, från en författare, med en modell som får representera allt under frontlinjen och en som får representera frontlinjen. Att ett ramverk får noll på en momsrekonstruktion med en mellanklassmodell är inte belägg för att det får noll i allmänhet.
Vad upplägget däremot gör bra är att ta bort de vanliga nödutgångarna. Deterministisk rättning betyder att ingen domarmodell kan belöna ett svar som låter rimligt, och en uppgift hämtad ur ett verkligt uppdrag betyder att felmönstren är de specialister faktiskt möter: inkonsekventa format, saknade kopplingsnycklar, inget schema.
Varför ramverksfrågan har kommersiell betydelse
Den praktiska slutsatsen går emot hur agentprodukter brukar säljas. Leverantörerna marknadsför modellen; köparna blandar allt oftare modeller. Om ställningen runt modellen bär lika mycket av resultatet som det här riktmärket antyder i mellanskiktet, då är ett ramverk trimmat för ett labbs modell en annan produkt när det riktas mot ett annat labbs.
Artikeln gör också ett kostnadspåstående som är lätt att kontrollera och värt att kontrollera: att ett veckolångt uppdrag av det här slaget nu kostar minuter och några dollar. Kod och uppgifter är publicerade, vilket betyder att nollorna är reproducerbara för den som inte håller med. Det är nästa sak att följa — om de två ramverk som inte fick någonting fortsätter att inte få någonting när någon annan kör dem.
