Corregir los deberes de los pronosticadores
El Forecasting Research Institute ha revisado las predicciones que recogió en 2022 y las ha contrastado con lo ocurrido. En los índices de referencia de inteligencia artificial, los paneles no estuvieron cerca.
“En conjunto, los superpronosticadores asignaron una probabilidad media de solo el 9,7% a los resultados observados en estos cuatro índices de IA, frente al 24,6% de los expertos del área”, escribe el instituto en una revisión publicada el 23 de septiembre por Josh Rosenberg, Matt Reynolds, Nadja Flechner y Zack Devlin-Foltz.
Los cuatro índices son MATH, MMLU, QuALITY y una medalla de oro en la Olimpiada Internacional de Matemáticas. Los pronósticos proceden del Existential Risk Persuasion Tournament, celebrado entre junio y octubre de 2022, que puso a especialistas del área y a superpronosticadores —personas con un historial de aciertos— ante las mismas preguntas.
Dónde fue mayor la distancia
El resultado olímpico es el caso más claro. La IA alcanzó el nivel de medalla de oro en julio de 2025. El experto mediano lo situaba en 2030 y el superpronosticador mediano en 2035: cinco y diez años tarde, respectivamente.
Un estudio distinto del instituto sobre bioseguridad arrojó la misma forma. Al preguntar cuándo igualaría la IA a los mejores equipos de virólogos en un índice de resolución de problemas, el experto mediano dijo 2030 y el superpronosticador mediano 2034. El instituto escribe que los modelos probablemente igualaron ese nivel en abril de 2025, a pocos meses de hacerse la encuesta.
Por qué lo hicieron peor los superpronosticadores
Lo contraintuitivo es que los generalistas con mejor historial se equivocaron más que los especialistas. La destreza superpronosticadora se apoya en tasas base y en descontar la exageración, un instinto que suele ser el correcto y aquí fue el equivocado. Los expertos del área tampoco acertaron; simplemente se equivocaron menos.
La revisión también es estrecha en un sentido importante. Puntúa preguntas de índices y capacidades, donde el historial es malo, y describe un panorama más mixto en adopción. Sobre los efectos económicos amplios dice que todavía no hay pruebas resueltas suficientes para calificar a nadie.
Qué hacer con ello
El uso práctico de una revisión así es la calibración, no el bochorno. Sugiere que cuando un panel de expertos sitúa una capacidad a una década vista, la distribución de resultados se ha inclinado últimamente hacia el “antes”, y que los pronósticos sobre capacidades de IA deben leerse con ese sesgo presente.
Es un instituto calificando sus propios torneos, y cuatro índices son una muestra pequeña. La prueba que conviene vigilar es la siguiente ronda: el instituto mantiene un panel de expertos continuo, y repetir el ejercicio con pronósticos hechos en 2026 mostrará si quienes responden han corregido tras equivocarse.
