Vad Cognition har släppt
Cognition släppte den 10 september SWE-2, en kodningsmodell som efterträder SWE-1.7 och körs i bolagets agent Devin. I lanseringsinlägget uppger bolaget att SWE-2 får 50,0 % på FrontierCode 1.1 Main, en poäng från Anthropics Claude Fable 5.1, till 64 procent lägre kostnad.
Alla testresultat i den här artikeln kommer från Cognitions egen utvärdering. När artikeln skrevs fanns inget oberoende resultat för SWE-2, och tidig rapportering som OfficeChais artikel återger bolagets siffror utan att pröva dem.
SWE-2 är inte tränad från grunden. Cognition skriver att modellen är vidaretränad från Kimi K3, en modell med 2,8 biljoner parametrar som OfficeChai beskriver som en öppen modell från Moonshot AI. Cognition har använt förstärkningsinlärning i den skalan och säger att en enda träningskörning ger tre ansträngningsnivåer, medel, hög och max, i stället för separata modeller för snabbt och grundligt arbete.
Siffrorna, enligt Cognition
På FrontierCode 1.1 Main får SWE-2 50,0 % mot 42,0 % för SWE-1.7. Lyftet är större på DeepSWE 1.1, där Cognition anger 73,0 % mot 37,7 %. På Terminal-Bench 2.1 når modellen 92,8 %, upp från 81,5 % och den högsta siffran i bolagets jämförelsetabell.
Cognition säger att SWE-2 slår SWE-1.7 och Grok 4.6 både på resultat och kostnad, och att den matchar OpenAI:s GPT-5.6 Sol och Claude Fable 5 och 5.1 till en bråkdel av priset. Bolaget uppskattar att SWE-2 kostar ungefär en fjärdedel av GPT-6 Astra, som fortfarande ligger före på FrontierCode, 53,3 mot 50,0 %, och på DeepSWE, 74,1 mot 73,0 %.
Samma tabell visar var SWE-2 halkar efter. På Terminal-Bench 4 får den 27,3 %, mindre än hälften av Claude Fable 5.1:s 55,8 % och GPT-6 Astras 57,9 %. Inlägget förklarar inte skillnaden.
Cognition skriver att bolaget använt publicerade resultat där de fanns och annars sin egen testmiljö för varje modell, att varje modells bästa resultat över olika resonemangsnivåer redovisas och att kostnaden räknats fram från listpriser inklusive offentliga rabatter. Sådana val är vanliga i lanseringsinlägg, och de är ett skäl till att leverantörernas tabeller sällan stämmer med oberoende körningar.
Färre steg före första ändringen
Bolagets huvudargument är effektivitet. Enligt Cognition gör SWE-2 på medelnivå sin första verkliga kodändring efter en median på 18 steg, mot 48 för SWE-1.7, och behöver i snitt 53 steg per FrontierCode-körning mot 127. Cognition uppger att medelnivåns genomsnittliga kostnad är 81 procent lägre än företrädarens.
För en agent är antalet steg det mesta av notan. En modell som läser mindre av ett kodförråd innan den agerar är billigare att köra; om den också slarvar mer är en fråga som de här testerna inte besvarar.
Eftersom basmodellen är Kimi K3 har Cognition också publicerat tester av om SWE-2 upprepar propaganda eller censurerar svar. Bolaget redovisar 98,0 % godkända svar totalt, med 99,8 % på engelska och 95,2 % på förenklad kinesiska.
Var den finns och vad den kostar
SWE-2 finns från lanseringen i Devin Desktop och Devins CLI, och Cognition säger att modellen håller på att rullas ut till Devin Web och Devin Fusion. Inlägget anger inget pris per token, inga planpriser och inget separat API, så kostnadsjämförelserna går ännu inte att pröva mot vad en kund faktiskt betalar.
Lanseringen kommer dagen efter att Cognition meddelat en finansieringsrunda på 2 miljarder dollar till en värdering av 48 miljarder dollar, ledd av Andreessen Horowitz och Accel.
Vad man ska hålla ögonen på
Det första provet är replikering. En körning av en tredje part på FrontierCode eller Terminal-Bench skulle visa om förbättringarna mot SWE-1.7 håller utanför Cognitions egen testmiljö, och om gapet på Terminal-Bench 4 är så stort som bolagets egen tabell antyder. Det andra är priset: när SWE-2 når Devin Web får löftet om 64 procent lägre kostnad en siffra att mätas mot.
