Rättning av prognosmakarnas läxa
Forecasting Research Institute har gått igenom de förutsägelser man samlade in 2022 och jämfört dem med vad som hände. På riktmärken för artificiell intelligens var panelerna inte i närheten.
“Sammantaget gav superprognosmakarna en genomsnittlig sannolikhet på bara 9,7 procent åt de observerade utfallen på dessa fyra AI-riktmärken, jämfört med 24,6 procent från områdesexperterna”, skriver institutet i en granskning publicerad den 23 september av Josh Rosenberg, Matt Reynolds, Nadja Flechner och Zack Devlin-Foltz.
De fyra riktmärkena är MATH, MMLU, QuALITY och en guldmedalj i den internationella matematikolympiaden. Prognoserna kommer från Existential Risk Persuasion Tournament, som hölls mellan juni och oktober 2022 och ställde ämnesspecialister och superprognosmakare — personer med dokumenterad träffsäkerhet — inför samma frågor.
Var avståndet var störst
Olympiadresultatet är det tydligaste fallet. AI nådde guldmedaljnivå i juli 2025. Medianexperten hade satt det till 2030 och medianprognosmakaren till 2035 — fem respektive tio år för sent.
En separat studie från institutet om biosäkerhet gav samma form. På frågan när AI skulle matcha de bästa virologteamen på ett problemlösningsriktmärke svarade medianexperten 2030 och medianprognosmakaren 2034. Institutet skriver att modellerna sannolikt nådde den nivån i april 2025, bara månader efter att enkäten genomförts.
Varför superprognosmakarna gick sämre
Det motsägelsefulla är att generalisterna med den bättre träffsäkerheten låg längre fel än specialisterna. Superprognoser bygger på basfrekvenser och på att räkna bort överdrifter, vilket brukar vara rätt instinkt och här var fel. Områdesexperterna hade inte heller rätt; de hade bara mindre fel.
Granskningen är också smal på ett viktigt sätt. Den bedömer frågor om riktmärken och förmågor, där facit är dåligt, och redovisar en mer blandad bild för spridning och användning. Om de breda ekonomiska effekterna skriver institutet att det ännu inte finns tillräckligt avgjorda belägg för att betygsätta någon.
Vad man gör med det
Den praktiska nyttan med en sådan här granskning är kalibrering, inte förlägenhet. Den antyder att när en expertpanel lägger en förmåga tio år bort har utfallen på senare tid lutat mot “tidigare”, och att prognoser om AI-förmågor bör läsas med den snedvridningen i åtanke.
Det är ett institut som betygsätter sina egna turneringar, och fyra riktmärken är ett litet urval. Provet att följa är nästa omgång: institutet driver en löpande expertpanel, och samma övning upprepad på prognoser gjorda 2026 visar om de svarande har justerat efter att ha haft fel.
