Arbetsgången bedöms, inte bara svaret
De flesta utvärderingar av AI på finansiellt arbete frågar om modellen kan plocka rätt siffra ur ett dokument och räkna rätt med den. Ett riktmärke som lades upp på arXiv den 7 november hävdar att det missar vad yrket faktiskt består av: att välja mellan motstridiga källor, göra försvarbara antaganden och hålla varje steg granskningsbart.
DeepFinance är byggt kring 21 kompletta uppgifter från riskkapital och investmentbank som tar en yrkesverksam människa i snitt 27,1 timmar. Varje uppgift parar en beställning med ett datarum på i snitt 19 filer och bedöms mot i snitt 84 expertskrivna kriterier som täcker resultat, arbetsgång och omdöme. Tjugotvå modellkonfigurationer utvärderades, var och en i sin egen inbyggda agentsele.
Den bästa konfigurationen, GPT-6 Astra med maximalt resonemang, uppfyllde 57,6 procent av kriterierna. Författarna påpekar att de fyra främsta konfigurationerna inte är statistiskt åtskiljbara — med 21 uppgifter bär ordningen i topp mindre information än huvudsiffran.
Rätt räknat på fel underlag
Meningen i artikeln som bär mest beskriver ett fel, inte en poäng. Frontlinjemodeller, skriver författarna, räknar ofta korrekt utifrån fel underlag, och hittar beslutsrelevant bevisning utan att agera på den.
Båda halvorna spelar roll på olika sätt. Den första är det svårare problemet: en modell som räknar exakt utifrån en siffra den inte borde ha använt ger ett svar som klarar varje räknekontroll och ändå är fel. Det finns ingen inre motsägelse för en granskare att fånga. Den andra är på sätt och vis mer överraskande — bevisningen hittades, den var relevant för beslutet, och modellen gick vidare utan att väga in den.
Varför en bedömningsmall i stället för ett facit
Arbete av den här formen har inget enda korrekt resultat. Mallen är hur författarna gör det bedömbart: 84 kriterier per uppgift, skrivna av yrkesverksamma, vart och ett uppfyllt eller inte. Det köper granskningsbarhet och kostar precision på ett bestämt sätt. En procentsats här räknar uppfyllda kriterier, inte om investeringsbedömningen som blev resultatet hade varit sund. En modell kan uppfylla större delen av en mall och ändå landa i en rekommendation som en delägare skulle avvisa.
Snittet på 27,1 timmar är den andra siffran att hålla fast vid. Det här är inte prompter; det är flerdagarsarbeten pressade in i en enda utvärdering, och det är därför uppsättningen bara rymmer 21 uppgifter och därför den statistiska reservationen om de fyra främsta följer av designen snarare än av slarv.
Vad det säger om att släppa in agenter i affärer
Den praktiska läsningen är smalare än att “AI klarar inte företagsbesiktning”. Att uppfylla 57,6 procent av en yrkesmall på uppgifter om 27 timmar är betydande, och skillnaden mellan de främsta är inte meningsfull vid det här urvalet. Varningen gäller formen på det som återstår: felen är inte slarvig aritmetik, som granskning fångar, utan korrekt aritmetik på underlag som borde ha ifrågasatts, vilket granskning ofta inte fångar.
Siffrorna är författarnas egna och har inte reproducerats oberoende. Det som skulle göra riktmärket mer användbart är fler uppgifter — nog för att skilja topparna åt — och ett andra varv kring om modeller som hittar beslutsrelevant bevisning och ändå förbigår den gör det av skäl som en prompt kan åtgärda.
