Ett signifikant resultat av fyra
Vals AI publicerade testet den 9 oktober. Det byggde 50 kompletta webbapplikationer utifrån skrivna produktspecifikationer, driftsatte varje med Docker Compose och lät sedan webbläsaragenter klicka sig igenom arbetsflödena, med poäng efter andelen gränssnittstester som gick igenom.
Två modeller körde det: GPT 6 Sol och Claude Opus 5.5. Var och en körde två gånger — en gång som ensam agent, en gång som ledande agent som delegerar till underagenter — på medelhög och på maximal resonemangsnivå. Det blir åtta konfigurationer, var och en körd en gång.
Vals AI:s egen sammanfattning är kort: “Team kostar 1,8 till 5,1 gånger så mycket som ensamma agenter, och bara en poängskillnad var statistiskt signifikant.”
Den som var det tillhörde den svagare konfigurationen. GPT 6 Sol på medelnivå fick 77,6% ensam och 84,9% som team, en ökning på 7,3 poäng vid p = 0,005. De övriga tre jämförelserna gav p-värden mellan 0,16 och 0,81. Sol på maxnivå gick från 89,0% till 90,4%. Claude Opus 5.5 på medelnivå gick från 91,5% till 91,2% — något nedåt. På maxnivå gick den från 89,8% till 93,2%, tabellens största råa ökning och ändå inte signifikant på en enda körning.
Vad teamen kostade
Multiplarna varierar med modell och inställning snarare än att följa nyttan. Team kostade 2,5 gånger en ensam agent för Sol på medelnivå, 1,8 gånger på maxnivå, 2,2 gånger för Opus på medelnivå — och 5,1 gånger för Opus på maxnivå, just den konfiguration vars vinst Vals AI inte kunde kalla signifikant.
Klocktiden rörde sig åt motsatta håll för de två modellerna. Att köra underagenter parallellt kortade Sols körningar. Opus team tog upp till 2,3 gånger längre tid än dess ensamma agenter, så för den modellen köpte delegeringen varken en pålitlig poäng eller snabbhet.
Den billiga spaken fanns redan
Studiens mest användbara siffra handlar inte om team alls. För Sol lyfte en höjning av resonemangsnivån till max den ensamma agenten med 11,4 poäng, vid p < 0,001 — en större och bättre belagd vinst än den som dess medelnivåteam gav. För Opus ändrade en höjd nivå i sig inte heller poängen signifikant.
Sammantaget är det ett argument om var den extra budgeten bör läggas. På det här testet, och för den ena av två modeller, slog ratten som redan finns en arkitektur som kostar mellan 1,8 och 5,1 gånger mer att köra.
Gränserna
Gränserna är studiens egna och Vals AI redovisar dem: var och en av de åtta konfigurationerna kördes en gång, så enskilda jämförelser bär stor osäkerhet, och tre av fyra skillnader går inte att skilja från brus på det underlaget. Att klara en webbläsaragents genomklickning är inte heller detsamma som att applikationen är korrekt eller säker.
Det resultatet däremot berör är ett påstående branschen gjort i produktsläpp snarare än i publicerade mätningar: att delegering till fler agenter gör resultatet bättre. På det enda test där någon tittat på både poängen och räkningen gjorde det mest resultatet dyrare. Det som ska följas är om någon leverantör publicerar en egen kontrollerad jämförelse, med tokenkostnaden bredvid poängen.
