Medir si un modelo puede descubrir algo es difícil porque casi todas las pruebas tienen una respuesta que el modelo quizá ya ha leído. ExplorationBench, publicado en arXiv el 25 de septiembre por investigadores de Tencent Hunyuan junto a las universidades de Fudan y Tsinghua, lo evita construyendo mundos cuyas reglas contradicen a propósito el conocimiento familiar.
La prueba se compone de dos entornos. AlienCode es un pequeño lenguaje de cálculo cuyos operadores parecen conocidos y se comportan de otra manera, con 31 objetivos de descubrimiento y 70 tareas, corregidas por un intérprete sobre entradas privadas. AlienLogic contiene 24 reglas de inferencia y pide a los sistemas construir demostraciones válidas o identificar las imposibles en 70 tareas.
Las puntuaciones de partida son la clave
Ninguna ejecución en AlienCode arranca por encima del 15,7%. Esa es exactamente la cifra que la prueba está diseñada para producir: un sistema no puede entrar en estos mundos de memoria, porque las respuestas correctas contradicen las que aprendió.
Tras cuatro rondas de sondeo y observación, el mejor sistema llega al 89,0%. El mismo número de turnos sin retroalimentación deja a los sistemas entre el 0,5% y el 11,0%. La distancia entre esas dos cifras es toda la medición: es el valor de hacer un experimento y leer el resultado, aislado de todo lo demás que el modelo sabe.
Elegir el experimento es parte de la destreza
El control más interesante del artículo hace que los sistemas repitan sondeos elegidos por otro sistema distinto. Nueve de cada diez rindieron peor en AlienCode así que cuando eligieron sus propios sondeos.
Eso es un resultado sobre la agencia y no sobre el conocimiento. El contenido informativo de los sondeos era idéntico; lo que cambiaba era si el sistema tenía una razón para hacerlos y, por tanto, si sabía qué buscar en la salida.
Conocer la regla no basta
El artículo aporta otra cifra que merece retenerse. Incluso cuando un sistema enuncia correctamente todas las reglas necesarias para una tarea, la resuelve solo el 73,4% de las veces. Descubrimiento y aplicación se separan: un modelo puede describir el mecanismo que acaba de hallar y aun así no saber usarlo.
Salvedades
Los mundos son sintéticos y pequeños, y la prueba la publica uno de los laboratorios cuyos modelos evalúa. Los objetivos de descubrimiento también son fijos, lo que significa que las puntuaciones perderán sentido en cuanto las tareas lleguen a los datos de entrenamiento: el destino habitual de cualquier prueba cuyas respuestas son públicas.
Qué vigilar
Si algún grupo independiente ejecuta modelos de frontera sobre ella y publica la tabla, y si el control de repetición se sostiene. Si elegir el propio experimento gana de forma fiable a recibir la misma evidencia, esa es una propiedad medible en torno a la cual vale la pena construir evaluaciones.
