Reproducir antes de descubrir
Un artículo publicado en arXiv el 29 de octubre sostiene que los sistemas de IA deberían demostrar que pueden reproducir resultados científicos establecidos antes de que nadie confíe en ellos para producir resultados nuevos. El banco de pruebas que presenta, PAPERBENCHX, plantea 93 tareas de reproducción de artículos construidas por expertos en 12 áreas de investigación, entre ellas electromagnetismo, fotónica, química, ciencia de materiales, biología y robótica.
El resultado principal es estrecho. De diez configuraciones de agentes de frontera, la mejor reprodujo por completo solo el 14% de las tareas con el umbral del 90% del banco de pruebas. Las puntuaciones medias de rúbrica de esas configuraciones fueron del 27,53% al 59,08%: suficiente para mostrar una competencia parcial real, y muy lejos de un resultado fiable.
Por qué no basta con puntuar la salida
La decisión de diseño que distingue a PAPERBENCHX de bancos de pruebas anteriores es qué califica. Las entregas se vuelven a ejecutar desde cero y solo se puntúa la evidencia regenerada frente a criterios validados por expertos. Un agente no puede aprobar describiendo un método de forma convincente ni entregando código que parezca correcto: el código tiene que ejecutarse y los números tienen que volver.
Eso importa porque el modo de fallo que los autores buscan es justo el que una puntuación de texto oculta. El artículo plantea la brecha como la distancia entre entender un artículo y producir de forma fiable evidencia reproducible a partir de él, y es esa segunda cosa de la que depende el trabajo científico.
Salir del aprendizaje automático es la parte difícil
Los bancos de pruebas de reproducción existentes viven sobre todo dentro de la IA y el aprendizaje automático, donde el utillaje es conocido y los entornos son uniformes. Los autores sostienen que salir de ese círculo es más difícil por razones que poco tienen que ver con la capacidad de razonamiento: los agentes tienen que manejar software científico especializado, tomar decisiones de modelado físico y numérico, diagnosticar cálculos que corren mucho tiempo antes de fallar, y separar la evidencia válida de una salida que solo parece plausible.
Cada una de esas es un lugar donde un agente que escribe buen código puede producir un número equivocado sin darse cuenta. Una simulación que converge a la respuesta incorrecta se ve, por fuera, igual que una que converge a la correcta.
Qué cuenta la dispersión
La distancia entre una tasa de reproducción completa del 14% y puntuaciones medias de rúbrica en la franja del 27,53% al 59,08% es la parte interesante. Los agentes aciertan partes sustanciales de estas reproducciones —montar entornos, ejecutar experimentos, producir salidas— y rara vez llegan hasta un resultado que coincida con el artículo. El crédito parcial no es para lo que sirve una reproducción.
Qué vigilar
El valor del banco de pruebas dependerá de si sus 93 tareas aguantan a medida que mejoren los modelos, y de si otros grupos pueden puntuar con los mismos criterios validados por expertos sin los autores de por medio. La conclusión del propio artículo es la que conviene retener: sigue habiendo una gran brecha entre entender un artículo y producir de forma fiable evidencia reproducible, y es más ancha fuera del aprendizaje automático que dentro.
