Ett test byggt på tidsanvändningsundersökningar
OpenAI publicerade LifeVal den 2 november, en intern utvärdering som enligt bolaget mäter hur väl dess modeller klarar “de uppgifter som betyder något i vardagen” — att hitta barnomsorg, nå myndighetstjänster, lägga en budget, anpassa recept, handla mat.
Uppgiftslistan är inte påhittad. OpenAI utgick från två långvariga statistiska undersökningar av hur människor använder sin tid, American Time Use Survey och Multinational Time Use Study, och gjorde sedan en egen demografiskt representativ enkät med 3 995 svarande om var de helst skulle vilja ha hjälp av en personlig assistent. Uppgifterna som kom ut täcker omsorg, hälsa, utbildning, hushållsadministration, privatekonomi, inköp och tillgång till myndighetstjänster.
Betygen bolaget valde att visa
Den publicerade sidan ger fem exempeluppgifter med en procentsiffra till varje. Att skriva in ett barn i rätt förskola efter en flytt: 93,1 procent. Att organisera frivilliga som ska översvämningssäkra fyra grannars hus: 98,0 procent. Att hitta en bostad i Luzerne County inom budget, med separat boendedel och kort pendling, och lägga lagfarten i länets register-varukorg: 100 procent. Att ordna ett sätt att se en match på distans med en mormor: 96,3 procent. Att göra en vård- och måltidsplan för första veckan åt en förälder med nyupptäckt diabetes: 90,4 procent.
OpenAI skriver att bolagets “senaste modeller får mycket höga poäng på många LifeVal-uppgifter”. Det står inte vilken modell som gav de fem siffrorna, hur en uppgift poängsätts, vad som räknas som att lyckas, vem som bedömde, eller hur just de fem exemplen valdes ut ur hela uppsättningen.
Det som inte publiceras
LifeVal är inte ett öppet test. Det finns ingen datamängd att ladda ned, ingen artikel, ingen resultattabell och ingen oberoende körning. Varje siffra på sidan är ett leverantörsrapporterat resultat från ett test leverantören själv byggt, och sidan säger uttryckligen att OpenAI använt det internt “för att följa och driva förbättring av modellernas prestanda på vardagsuppgifter under det senaste året” — alltså som träningsmål såväl som mätning.
Det diskvalificerar inte testet; labb bygger interna utvärderingar hela tiden. Men det betyder att siffrorna säger något om OpenAI:s framsteg mot bolagets eget mål, och ingenting jämförbart om något annat system.
Varför OpenAI publicerar det nu
Inramningen kopplar testet till kapacitetsarbete, inte till chattkvalitet. OpenAI skriver att bolaget under det senaste året tränat sina modeller att bli “mycket snabbare, mer kapabla och mer alignade” på webbläsaranvändning, datoranvändning och uppgifter med kopplingar till andra tjänster, och att detta i ChatGPT vidgar vad assistenten kan ombes göra. LifeVal är betyget för den förskjutningen — från att svara på frågor till att utföra handlingar åt någon.
Vad man ska följa
Nästa steg som skulle göra nytta är det OpenAI inte tagit: att släppa uppgiftsuppsättningen, bedömningsmallen och hela poängfördelningen, så att ett resultat på LifeVal betyder något för en läsare som inte arbetar på OpenAI. Tills dess är 100 procent på att hitta en bostad ett påstående, inte en mätning någon annan kan pröva.
