Rundan
Vals har tagit in 40 miljoner dollar i en serie A ledd av Andreessen Horowitz, rapporterade TechCrunch på fredagen. Den tidigare såddrundan leddes av 8VC med Bloomberg Beta som deltagare.
Bolaget grundades 2024 och har vuxit från 8 anställda vid årets början till 25, med planer på ytterligare 10 till 15. Medgrundaren Rayan Krishnan är 25 år. Intäkterna är åtta gånger så stora som för ett år sedan.
Vad det säljer
Produkten är ett prov som inte är offentligt. Vals utvärderar modeller på komplexa yrkesuppgifter från verkligheten — inom juridik, finans och programmering bland andra områden — och håller provmaterialet konfidentiellt, så att ett laboratorium inte kan finjustera mot frågorna.
Måttet är om en modell kan “utföra arbete som ger ett resultat av samma kvalitet som en människas”, inte om den kan svara på provfrågor. Företagen betalar för att få sina modeller prövade, på samma sätt som studenter betalar för att skriva ett standardiserat prov: examinatorn försörjs av den som examineras, samma strukturella spänning som går genom kreditbetygsinstituten och, för den delen, genom veckans diskussion om vem som ska granska frontlaboratorierna.
Områdena har vuxit långt bortom yrkestjänster och omfattar nu rekursiv självförbättring, psykisk hälsa, cybersäkerhet, biosäkerhet och den väpnade konfliktens rätt.
Vilka kunderna är
TechCrunch beskriver kunderna som de bolag vars modeller prövas. Den publicerade listan över områden antyder två skilda skäl att köpa. Ett laboratorium vill ha ett resultat att citera som den egna träningskörningen omöjligt kan ha sugit upp. En köpare som ska sätta en modell i drift vill veta hur den beter sig på det arbete den faktiskt kommer att få — vilket är den troligaste förklaringen till att listan vuxit till att omfatta biosäkerhet och den väpnade konfliktens rätt vid sidan av avtalsgranskning.
Varför hemliga prov finansieras nu
Offentliga prov har ett kontamineringsproblem som blivit omöjligt att bortse från. Så snart ett prov ligger på nätet hamnar det i nästa träningskörning, och ett resultat på det slutar mäta förmåga och börjar mäta exponering. Undanhållna prov som administreras privat är den självklara korrigeringen, och skälet till att ett riskkapitalbolag nu skriver en check för ett.
Priset är kontrollerbarhet. Ett prov som ingen kan granska kan inte revideras av någon utanför bolaget som håller i det. Att ett Vals-resultat betyder vad det påstår vilar på att man litar på Vals — precis den egenskap offentliga prov var tänkta att undvika, och precis det byte marknaden tycks villig att göra.
Samma byte görs på annat håll. MLPerf lade den här veckan till agenttester, och Anthropic placerade en konsultfirma i sin egen byggnad för att granska bolagets modeller. Den gemensamma tråden är att mätandet går från kollektiv nyttighet till affär.
