En kompilator, fast för spänningar
EEBench, ett riktmärke byggt och finansierat av teamet bakom hårdvaruverktyget atopile, publicerade den 4 september sina första resultat, från en körning daterad den 1 september. Version 1 låter modellerna göra 13 uppgifter i analog och digital kretsdesign och bedömer dem utan människa eller modell i loopen.
Systemet bygger varje inlämnad design, sätter samman kretsgrafen och materiallistan, och kör sedan SPICE-simuleringar och regelkontroller mot uppgiftens krav. Förvaltarna liknar det vid att ge en kodagent en kompilator och en testsvit, “förutom att testerna mäter spänningar och komponenters beteende”.
Det deterministiska är det intressanta. De flesta utvärderingar av öppen designuppgifter bedöms till slut av en bedömningsmatris, en mänsklig panel eller en annan modell, och alla tre glider. En krets uppfyller specifikationen i simulering, eller så gör den det inte.
Poängen
I körningen den 1 september leder Anthropics Claude Opus 5 med 61,6 procent över de 13 uppgifterna. Grok 4.6 är tvåa på 57,1 procent, knappt före Claude Fable 5.1 på 56,4 procent, Claude Fable 5 på 54,3 procent och Claude Opus 4.8 Max på 51,4 procent.
Spridningen är liten — sex procentenheter skiljer första från femte plats — och alla resultat ligger långt från godkänt. En modell som ritar en fungerande krets tre gånger av fem är en modell en ingenjör måste kontrollera varje gång, vilket är något annat än ett verktyg som sparar arbete.
EEBench poängsätter också praktiska konstruktionsavvägningar, inte bara om kretsen fungerar: komponenternas pris och tillgänglighet räknas. Det spelar roll, eftersom en design som simulerar perfekt med delar ingen har i lager inte är en design.
Vad det inte mäter
Förvaltarna är tydliga med gränsen. Simulering är inte tillverkning, och EEBench prövar inte om en modell kan lägga ut ett kort, få det tillverkat och få igång fungerande hårdvara. Fysisk validering anges som framtida arbete.
Två förbehåll hör till varje så tidig resultatlista som denna. Tretton uppgifter är få, och ett par olyckliga uppgifter flyttar en procentsats långt. Och EEBench byggs av atopile, ett företag som säljer verktyg i just det fält det mäter — skäl att läsa metoden och inte bara tabellen.
Det man ska följa är version 2, och särskilt om stegen för layout och tillverkning kommer med. Simuleringspoäng säger att en modell kan resonera om en krets. De säger ännu inte att någon kan få kortet tillverkat.
