En utvärdering som inte låter modellen se framtiden
De flesta finansiella utvärderingar prövar kunskap, researchflöden eller prognoser var för sig. En artikel publicerad på arXiv presenterar Investor’s Last Exam, eller ILE, som i stället försöker betygsätta hela kedjan: det underlag som fanns vid beslutsögonblicket, de antaganden som byggs på det och den bedömning som följer — och poängsätter sedan prognosen mot vad som faktiskt hände.
Kontrollmekanismen är databasen. ILE bygger på ett versionshanterat finansiellt korpus som omfattar 3,43 miljoner dokumentversioner i nio källkategorier, kompletterat med strukturerade marknadsdata, med validerade tidsstämplar som styr både hämtning och beräkning. En agent som ombeds värdera ett bolag per ett visst datum kan inte nå en handling som publicerats därefter.
Resultaten
Utvärderingen omfattar 86 uppdrag och betygsätter researchkvalitet, prognosträffsäkerhet och simulerad avkastning tillsammans. GPT-6 Astra och Claude Opus 5.5 leder totalt med 68,1 och 66,9 av 100.
Delpoängen är där artikeln bygger sitt argument. Även Astra, ledaren, får bara 52,5 på Prognos och modell — ungefär 16 poäng under sitt eget totalresultat. Författarnas slutsats är att “även de främsta modellerna misslyckas med att omsätta allmän researchförmåga i prediktiv prestation”.
Det är utvärderingsförfattarnas egna mätningar, inte leverantörsrapporterade siffror, och artikeln är en preprint som inte sakkunniggranskats.
Byggd av köpsidan
Utvärderingens härkomst är en del av dess anspråk. ILE beskrivs som expertledd, där erfarna investerare och fondförvaltare på köpsidan satt uppgiftstaxonomin kring professionella analytikerleveranser, och med ett utvärderingsramverk som kopplar varje poängkriterium till sina källor, beräkningar och antaganden genom finansiella beroendegrafer.
Den sista strukturen är vad som låter utvärderingen säga var ett svar gick fel och inte bara att det gjorde det. En felaktig värdering kan spåras till källan en agent inte hämtade, beräkningen den klantade till eller antagandet den påstod utan stöd.
Vad gapet troligen betyder
En modell som researchar väl och prognosticerar illa misslyckas inte med att läsa. Den misslyckas i steget där underlag måste omvandlas till en fastställd siffra under osäkerhet — den del av analytikerarbetet som inte har något hämtbart svar eftersom svaret ännu inte inträffat.
Utvärderingar som låter en modell se utfallet, om än indirekt via en senare handling eller en sammanfattning i efterhand, kan inte skilja de två åt. ILE:s frysta informationsmängd är ett försök att göra den åtskillnaden mätbar, och gapet på 16 poäng mellan totalpoäng och prognospoäng är den första siffra den ger.
Att följa
Om rangordningen håller när andra grupper kör den, och om det frysta korpuset överlever kontakten med modeller vars träningsdata redan täcker den prövade perioden. En tidsstämpelgrind styr hämtning; den styr inte vad en modell memorerat. Den begränsningen gäller varje utvärdering av det här slaget, och den är värd att fråga om innan 68,1 av 100 behandlas som ett mått på investeringsbedömning.
