Un banco de pruebas escrito desde la investigación viva, no desde los libros
FrontierMat, descrito en un artículo publicado en arXiv el 30 de octubre por un grupo de 23 autores encabezado por Feng Chen y Jianguo Huang, contiene 330 problemas validados por expertos y extraídos de investigación activa en aeroespacial, semiconductores, inteligencia encarnada y fusión nuclear.
La tarea no es recordar. Cada problema o bien oculta un resultado experimental y pide al modelo inferirlo, o bien presenta un conjunto de pruebas experimentales y pregunta qué conclusión respaldan. Los problemas se etiquetan por dominio funcional, sistema de materiales y escala del mecanismo, y 130 de los 330 exigen razonar entre más de una escala: conectar algo que ocurre a nivel atómico con una propiedad medida a nivel de dispositivo.
Las puntuaciones
El modelo de propósito general más fuerte probado llegó al 53,7%. En problemas emparejados por dificultad, los ítems de escala cruzada puntuaron 8,7 puntos menos que los de una sola escala, que es la prueba más limpia del artículo de que la debilidad concreta es tender puentes entre escalas y no el conocimiento de materiales en general.
La distribución importa tanto como la media. La mitad de los 330 problemas los resolvió como máximo uno de los modelos probados. Un banco de pruebas en el que la mitad de los ítems se resuelven de forma casi única es uno en el que la puntuación agregada se mueve con unas pocas preguntas, y los autores publican la cifra en lugar de enterrarla.
El modo de fallo que recogen cabe en una frase y es la línea más citable del artículo: los modelos fallan sobre todo por “respaldar lo que es plausible en lugar de lo que se observó”. Es un error distinto de no saber la química. Es el error de escribir la respuesta que predeciría la literatura cuando el experimento que tienes delante hizo otra cosa.
La adaptación al dominio cerró la brecha
El artículo también incluye un estudio de adaptación: preentrenamiento continuado más autodestilación sobre un modelo de pesos abiertos. Ese modelo pasó del 36,7% al 55,4% en FrontierMat, lo que los autores presentan como igualar al modelo propietario más fuerte que probaron. Añaden que el modelo adaptado mejoró en bancos públicos de materiales sin bajar sus puntuaciones agregadas en bancos generales, el coste habitual de este tipo de especialización.
Todas estas cifras son de los propios autores, obtenidas por un grupo que incluye investigadores que trabajan en los campos de materiales de los que proceden los problemas. Todavía no hay evaluación independiente de FrontierMat, y el banco mide razonamiento escrito sobre experimentos, no trabajo de laboratorio: una inferencia correcta aquí no prueba que una síntesis funcionaría.
Qué vigilar
El siguiente paso útil es que alguien ajeno al grupo de autores ejecute modelos de frontera sobre los 330 problemas y publique puntuaciones por dominio. Hasta que eso ocurra, la cifra que conviene llevarse no es el 53,7% sino la penalización de 8,7 puntos en escala cruzada, que es la parte del resultado que describe una capacidad y no un puesto en una tabla.
