Se califica el proceso, no solo la respuesta
La mayoría de las evaluaciones de IA en trabajo financiero preguntan si el modelo puede extraer la cifra correcta de un documento y operar bien con ella. Un benchmark publicado en arXiv el 7 de noviembre sostiene que eso deja fuera en qué consiste realmente el oficio: elegir entre fuentes contradictorias, hacer supuestos defendibles y mantener cada paso auditable.
DeepFinance se articula en torno a 21 tareas completas de capital riesgo y banca de inversión que a un profesional humano le llevan de media 27,1 horas. Cada una une una petición con una sala de datos de 19 archivos de media y se califica con una media de 84 criterios de rúbrica escritos por expertos que cubren resultado, flujo de trabajo y juicio. Se evaluaron 22 configuraciones de modelo, cada una dentro de su propio arnés de agente nativo.
La mejor configuración, GPT-6 Astra con razonamiento máximo, cumplió el 57,6% de los criterios. Los autores señalan que las cuatro primeras configuraciones no son estadísticamente distinguibles entre sí: con 21 tareas, el orden en la cabeza de la clasificación aporta menos información que su cifra principal.
Aritmética correcta sobre datos equivocados
La frase del artículo que más trabajo hace describe un fallo, no una puntuación. Los modelos de frontera, escriben los autores, a menudo calculan correctamente a partir de los datos equivocados y encuentran pruebas relevantes para la decisión sin actuar sobre ellas.
Ambas mitades importan de distinta manera. La primera es el problema más difícil: un modelo que calcula con precisión a partir de una cifra que no debería haber usado produce una respuesta que supera todas las comprobaciones aritméticas y sigue siendo errónea. No hay incoherencia interna que un revisor pueda detectar. La segunda es en cierto modo más sorprendente: la prueba fue localizada, era relevante para la decisión y el modelo siguió adelante sin incorporarla.
Por qué una rúbrica y no una clave de respuestas
Un trabajo de esta forma no tiene una única salida correcta. La rúbrica es el modo en que los autores lo hacen calificable: 84 criterios por tarea, escritos por profesionales, cada uno cumplido o no. Eso compra auditabilidad y cuesta precisión de una manera concreta. Un porcentaje aquí cuenta criterios satisfechos, no si el juicio de inversión resultante habría sido sólido. Un modelo podría cumplir la mayor parte de una rúbrica y llegar aun así a una recomendación que un socio rechazaría.
La media de 27,1 horas es la otra cifra que conviene retener. No son prompts: son piezas de trabajo de varios días comprimidas en una sola evaluación, y por eso el conjunto tiene solo 21 tareas y por eso la cautela estadística sobre las cuatro primeras configuraciones se deriva del diseño y no de un descuido.
Qué dice sobre desplegar agentes en operaciones
La lectura práctica es más estrecha que “la IA no puede hacer diligencia debida”. Cumplir el 57,6% de una rúbrica profesional en tareas de 27 horas es sustancial, y la diferencia entre los líderes no es significativa con esta muestra. La cautela va sobre la forma de lo que queda: los errores no son aritmética descuidada, que la revisión detecta, sino aritmética correcta sobre datos que debieron cuestionarse, que la revisión a menudo no detecta.
Las cifras son de los propios autores y no se han reproducido de forma independiente. Lo que haría más útil el benchmark son más tareas —las suficientes para separar las configuraciones de cabeza— y una segunda pasada sobre si los modelos que encuentran pruebas relevantes y las ignoran lo hacen por razones que un prompt pueda corregir.
