Vad som publicerades
Allen Institute for AI har släppt FairStress, ett test för demografisk rättvisa i modellers beslut, den 20 oktober. Det bygger på 300 scenarier med två kandidater i 29 beslutsområden, däribland rekrytering, kreditgivning, vård, utbildning, bostäder och straffrätt, utvidgade till mer än 13 miljoner testfall. En delmängd på 50 000 poster, FairStress-Core, väljs med item response theory för snabbare körningar. Datamängden finns på Hugging Face, koden på GitHub, och Ai2 uppger att den läggs in i Olmo-eval.
Upplägget har två axlar. Demografisk identitet förekommer i fyra nivåer: frånvarande, antydd av ett kodat namn, antydd av sammanhanget, eller rakt utsagd. Och varje scenario paras med vad författarna kallar motståndsprefix: övertygande påståenden till förmån för den ena kandidaten, vart och ett med en matchad version till förmån för den andra. Det Ai2 mäter är “symmetrisk rättvisa”: samma kriterier och samma motstånd mot att övertalas, oavsett vem som gynnas.
Fyndet om mätningen
Det mest följdrika resultatet är metodologiskt. När Ai2 körde det äldre testet BBQ lutade modellerna i allmänhet åt det stereotypkonsekventa — men att ändra poängsättningen, från sannolikheter över fasta alternativ till genererade svar, flyttade flera modeller mot ett minoritetsgynnande beteende. Riktningen på den uppmätta snedvridningen berodde med andra ord på hur provet kördes.
Det spelar roll långt utanför den här studien. Rättvisepoäng citeras i modellkort, i offentliga upphandlingar och i regulatoriska inlagor, och ett mått vars tecken rör sig med testriggen är en svagare sak än det ser ut som.
Vad modellerna gjorde
I FairStress självt rapporterar Ai2 att beteendet var nära symmetriskt när ingen demografisk information fanns, och att asymmetrin växte när identiteten blev tydligare. Mönstret går mot den vanliga förväntan: modellerna var mer villiga att överge ett korrekt val när bytet gynnade en kandidat kodad som minoritet, ett beteende författarna kallar antistereotyp överkorrigering.
Gapen är konkreta. Ai2 anger den genomsnittliga skillnaden i att överge korrekta svar till 6,9 procentenheter vid antydd identitet och 9,3 vid uttryckliga etiketter. När ingen kandidat var objektivt starkare valde frontmodellerna den minoritetskodade kandidaten i omkring 60 till 65 procent av fallen. Med matchade motståndsprefix var byten mot en minoritetskodad kandidat 8,8 till 42,4 punkter vanligare än åt andra hållet, över tolv körningar av modell och läge.
Förklaringarna skilde sig också: motiveringar för minoritetskodade val använde oftare ord som “motståndskraft” och “hinder”, medan majoritetskodade val drog till sig mer procedurspråk om kriterier.
Lösningar som inte fungerade
Ai2 prövade nio metoder för att minska snedvridning. De flesta minskade inte asymmetrin tillförlitligt, och några kostade mycket träffsäkerhet: en metod för aktiveringsstyrning sänkte Qwen2.5-7B-Instruct från 98 till 47 procent på fall författarna beskriver som entydiga. Kontrafaktisk tankekedja minskade gapet med i stort bevarad träffsäkerhet, men slöt det inte.
Författarnas egna förbehåll
FairStress kodar en likhetscentrerad definition av rättvisa och fångar inte jämlikhetsbaserade synsätt, vilket är ett val och inte ett resultat. Tolkningsbarhetsdelen — inre aktiveringar förutsade vilken sida modellen skulle välja i omkring 73 procent av fallen, mot 57 till 59 procent för textbeskrivningar av samma aktiveringar — omfattar bara två modeller och ett fåtal demografiska kontraster. En granskning av Olmo 3:s träningsdata fann bara nio av 28 000 ämneskluster som diskuterade meritbaserade beslut, samtliga avslag, men Ai2 skriver att det är oavgjort om dessa mönster orsakar beteendet. Vissa skattningar om förstärkningsinlärningens inramning vilar på så få som åtta promptar.
Vad som är värt att följa
Nästa nyttiga steg är att andra kör det. Datamängden och koden är öppna och Core-delmängden är liten nog att köra billigt, så asymmetrisiffrorna går att kontrollera på ett sätt som BBQ-resultatet gör akut: om ett poängsättningsval kan vända tecknet på en rättvisemätning behöver varje publicerad rättvisesiffra sin testrigg bifogad.
