Un banco de pruebas que no deja ver el futuro al modelo
La mayoría de los bancos de pruebas financieros evalúan conocimiento, flujos de investigación o previsión por separado. Un artículo publicado en arXiv presenta Investor’s Last Exam, o ILE, que intenta calificar toda la cadena: la evidencia disponible en el momento de decidir, las suposiciones construidas sobre ella y el juicio que se deriva, y luego puntúa la previsión frente a lo que realmente ocurrió.
El mecanismo de control es la base de datos. ILE se construye sobre un corpus financiero versionado que abarca 3,43 millones de versiones de documentos en nueve categorías de fuentes, complementado con datos de mercado estructurados, con marcas de tiempo validadas que rigen tanto la recuperación como el cálculo. Un agente al que se pide valorar una empresa en una fecha dada no puede alcanzar un documento publicado después.
Las puntuaciones
La evaluación cubre 86 asignaciones y califica conjuntamente la calidad de la investigación, la precisión de la previsión y el rendimiento simulado de la inversión. GPT-6 Astra y Claude Opus 5.5 encabezan el resultado global con 68,1 y 66,9 sobre 100.
Las puntuaciones por componente son donde el artículo construye su argumento. Incluso Astra, el líder, logra solo 52,5 en Previsión y Modelo, unos 16 puntos por debajo de su propio resultado global. La conclusión de los autores es que “incluso los modelos más avanzados no logran traducir la capacidad general de investigación en rendimiento predictivo”.
Son mediciones de los propios autores del banco de pruebas, no cifras comunicadas por los proveedores, y el artículo es un preprint sin revisión por pares.
Construido por el lado comprador
La procedencia del banco de pruebas forma parte de su argumento. ILE se describe como dirigido por expertos, con inversores y gestores de fondos del lado comprador experimentados fijando la taxonomía de tareas en torno a los entregables profesionales de un analista, y un marco de evaluación que vincula cada criterio de puntuación con sus fuentes, cálculos y suposiciones mediante grafos de dependencia financiera.
Esa última estructura es la que permite al banco de pruebas decir dónde falló una respuesta y no solo que falló. Una valoración errónea puede rastrearse hasta la fuente que un agente no recuperó, el cálculo que estropeó o la suposición que afirmó sin respaldo.
Qué significa probablemente la brecha
Un modelo que investiga bien y prevé mal no está fallando al leer. Está fallando en el paso en el que la evidencia debe convertirse en una cifra comprometida bajo incertidumbre, la parte del trabajo del analista que no tiene respuesta recuperable porque la respuesta todavía no ha ocurrido.
Los bancos de pruebas que permiten a un modelo ver el resultado, aunque sea indirectamente a través de un documento posterior o un resumen a posteriori, no pueden separar ambas cosas. El conjunto de información congelado de ILE es un intento de hacer medible esa separación, y la brecha de 16 puntos entre puntuación global y puntuación de previsión es la primera cifra que produce.
Qué vigilar
Si la clasificación se sostiene cuando otros grupos la ejecuten, y si el diseño de corpus congelado sobrevive al contacto con modelos cuyos datos de entrenamiento ya cubren el periodo evaluado. Una barrera de marcas de tiempo controla la recuperación; no controla lo que un modelo memorizó. Esa limitación afecta a todo banco de pruebas de este tipo, y es la que conviene plantear antes de tratar un 68,1 sobre 100 como medida del juicio de inversión.
