Un compilador, pero para voltajes
EEBench, una prueba creada y financiada por el equipo de la herramienta de diseño de hardware atopile, publicó el 4 de septiembre sus primeros resultados, procedentes de una ejecución fechada el 1 de septiembre. La versión 1 somete a los modelos a 13 tareas de diseño de circuitos analógicos y digitales y las califica sin intervención humana ni de otro modelo.
El sistema construye cada diseño entregado, arma el grafo del circuito y la lista de materiales, y luego ejecuta simulaciones SPICE y comprobaciones de reglas de diseño frente a los requisitos de la tarea. Los responsables lo comparan con darle a un agente de programación un compilador y una batería de pruebas, “salvo que las pruebas miden voltajes y comportamiento de componentes”.
Ese determinismo es lo interesante. La mayoría de las evaluaciones de trabajo de diseño abierto acaban calificadas por una rúbrica, un panel humano u otro modelo, y las tres cosas se desvían. Un circuito cumple la especificación en simulación o no la cumple.
Las puntuaciones
En la ejecución del 1 de septiembre lidera Claude Opus 5, de Anthropic, con un 61,6% en las 13 tareas. Grok 4.6 queda segundo con 57,1%, por delante por poco de Claude Fable 5.1 con 56,4%, Claude Fable 5 con 54,3% y Claude Opus 4.8 Max con 51,4%.
La horquilla es estrecha —seis puntos separan al primero del quinto— y todas las puntuaciones quedan muy lejos del aprobado. Un modelo que diseña un circuito funcional tres de cada cinco veces es un modelo que un ingeniero tiene que revisar siempre, que es algo distinto de una herramienta que ahorra trabajo.
EEBench puntúa además las concesiones prácticas de ingeniería, no solo si el circuito funciona: cuentan el coste y la disponibilidad de los componentes. Importa, porque un diseño que simula a la perfección con piezas que nadie tiene en existencias no es un diseño.
Qué no mide
Los responsables son claros con el límite. La simulación no es fabricación, y EEBench no comprueba si un modelo puede trazar una placa, hacerla fabricar y poner en marcha hardware funcional. La validación física figura como trabajo futuro.
Dos cautelas acompañan a cualquier clasificación tan temprana como esta. Trece tareas son pocas, y unos cuantos ítems desafortunados mueven mucho un porcentaje. Y EEBench la construye atopile, una empresa que vende herramientas en el campo que mide, razón para leer la metodología y no solo la tabla.
Lo que hay que vigilar es la versión 2 y, en concreto, si llegan las fases de trazado y fabricación. Las puntuaciones de simulación dicen que un modelo sabe razonar sobre un circuito. Todavía no dicen que alguien pueda fabricar la placa.
