En gratislunch som inte är gratis
Loopning går ut på att återanvända ett block av en modells lager så att varje token passerar det mer än en gång. Lockelsen är bokföringsmässig: parameterantalet ändras inte, så filen på disk, minnesavtrycket och träningskostnaden ligger kvar där de var. En artikel som lades upp på arXiv den 30 oktober pekar på vad den bokföringen utelämnar.
Varje genererad token betalar för loopen. Att återanvända m av N lager gör varje token ungefär (N+m)/N gånger så dyr att producera. En loop som en modell lär sig under storskalig förträning förtjänar det priset. Om en loop som skruvas på en redan tränad modell gör det är frågan artikeln sätter sig för att avgöra.
Två jämförelser, inte en
Upplägget är argumentet. Författarna jämför den loopade modellen mot två saker i stället för mot ingenting.
Den första är samma modell tränad på identiskt sätt utan loop — en jämförelse vid lika parameterantal, som frågar om loopen tillför något som en vanlig modell av den storleken inte redan har. Den andra är den bästa oloopade användningen av samma antal flyttalsoperationer vid inferens — en jämförelse vid lika FLOPs, som frågar om den beräkningskraft loopen förbrukar hade gjort bättre nytta på annat sätt.
En loopad modell måste slå båda för att vara värd att lägga till. De flesta rapporterade vinster från loopning mäts bara mot den första.
Bara den minsta modellen vinner
Svepet täcker Qwen3- och Qwen3.5-modeller från 0,8 till 9 miljarder parametrar. Över hela det spannet är det bara den loopade 0,8B-modellen som slår båda jämförelserna.
Vid 4B och 9B slår den loopade modellen inte ens den första: samma modell, tränad på samma sätt, utan loop. Att lägga till loopen efter förträningen gjorde den sämre, till en högre kostnad per token.
Ingen takeffekt
Den uppenbara invändningen är att testerna var mättade — att det inte fanns något kvar för loopen att vinna. Författarna stänger den dörren direkt. På samma tester får den oloopade 9B-modellen upp till 13 poäng mer än den oloopade 4B-modellen, vilket betyder att uppgifterna fortfarande skiljer på förmågenivåer i den skalan. Utrymmet finns; loopen når det inte.
Det smala fall som står kvar
Slutsatsen är specifik snarare än svepande: att införa loopar i en redan förtränad modell lönar sig bara för små modeller som arbetar under en fast parameterbudget. Det är ett verkligt driftläge — en modell på enheten som inte kan växa sina vikter men kan lägga mer beräkning per token — och det är betydligt smalare än hur loopning vanligtvis säljs in.
Vad man ska följa
Artikeln säger ingenting om loopar som lärs in under förträningen, vilka den uttryckligen betraktar som motiverade. Den öppna frågan är var brytpunkten ligger och varför: resultatet vid 0,8B och resultatet vid 4B skiljer sig till sin art, inte i grad, och artikeln pekar inte ut mekanismen. Håll utkik efter en uppföljning som prövar gränsen mellan dem, och efter om någon redovisar loopvinster mot en jämförelse vid lika FLOPs i stället för vid lika parameterantal.
