DrivingBench är en utvärdering med en ovanlig premiss: den ger en toppmodell kontroll över styrning, gaspedal och broms i en riktig Toyota Corolla, och ber den köra en fast konbana på en tom parkering. Bilen rör sig i gånghastighet. En människa sitter i förarsätet beredd att bromsa. Modellen ser vägen genom två kameror och kör med tre verktyg — observe, set_motion och stop_now — och ger ett kommando i taget.
På den aktuella resultatlistan har en modell gått i mål. GPT-6 Astra nådde hundra procents framdrift med tiden 5:22, över tre försök som gav 49 procent, därefter 100 procent och sedan ett avbrutet lopp. Det lyckade försöket förbrukade 246,6 miljoner token, vilket riktmärket prissätter till 7,74 dollar.
Ingen annan modell har fullföljt banan. Claude Fable 5.1 ligger tvåa med bästa framdrift 45 procent, och förbättrade sig över tre försök från 9 till 10 till 45 procent. Grok 4.6 är trea på 11 procent och GPT-5.6 Sol fyra på 6 procent. Samtliga av de loppen slutade utan målgång.
Varför gapet är intressantare än vinnaren
Ett riktmärke där ledaren får 100 och tvåan 45 mäter ingen gradient. Det mäter om förmågan finns över huvud taget. Uppgiften kombinerar rumsligt resonemang från kamerabilder, kontinuerlig styrning under fördröjning och disciplinen att fortsätta ge små korrigeringar i fem minuter utan att tappa tråden — och på den här banan kom tre av de fyra testade modellerna aldrig tillräckligt långt för att bedömas på det sista.
Framdrift definieras som hur långt längs banans mittlinje ett försök tog sig medan det höll sig inom fyra meter från den, som andel av mittlinjens längd fram till målzonen. Sträcka, godkända kommandon och tokenkostnad registreras vid sidan om, med varje kommando, modellens angivna skäl för det, bilens telemetri och videon synkroniserade bildruta för bildruta.
Vad det inte visar
Detta är en konbana i låg fart på en parkering, inte bilkörning. Det finns ingen trafik, inga fotgängare, inget väder och ingen hastighet. Jämförelsen med ett ändamålsbyggt körsystem håller inte, och DrivingBench hävdar inget annat: poängen är vad en allmän modell gör när den får en fysisk styrslinga den aldrig tränats för.
Antalet försök är också litet — tre per modell — och resultaten publiceras av riktmärkets egna operatörer, inte av en extern granskare. Ett enda hundraprocentigt lopp inramat av ett på 49 procent och ett avbrutet är en demonstration, inte ett mått på tillförlitlighet.
Att hålla ögonen på
Om gapet till andraplatsen krymper när laboratorierna släpper modeller med bättre visuell förankring, och om DrivingBench publicerar tillräckligt av sina loggar för att någon utanför projektet ska kunna räkna om ett lopp.
