Vad det innehåller
OpenAI släppte MentalHealthBench den 23 september. Det är en öppen samling av 1 215 syntetiska samtal om psykisk hälsa, tillsammans med 5 262 bedömningskriterier, skrivna med fler än 80 legitimerade psykologer och psykiatriker från 22 länder som arbetar på 19 språk.
Samtalen är medvetet inte bara kriser. De fördelar sig på 53,5 procent icke-akuta — vardagsoro, sömn, stress — 18,2 procent högakuta och 28,3 procent akuta, där någons omedelbara säkerhet står på spel. Den som talar är vuxen i 68,1 procent av fallen, tonåring i 21,2, kliniker i 5,8 och anhörigvårdare i 4,9. Vid sidan av engelskan finns 105 samtal på spanska, 54 på hindi, 34 på arabiska, 29 på portugisiska, och mindre uppsättningar på tyska, italienska, persiska, indonesiska, turkiska och kinesiska.
Kriterierna har vikter från -10 till +10, så att ett svar kan förlora poäng för ett felaktigt drag och inte bara vinna poäng för ett riktigt. De är grupperade under beteenden som att söka sammanhang, kalibrera brådska, pröva mot verkligheten och lämna kvar användarens eget handlingsutrymme.
Siffrorna och vem som tagit fram dem
OpenAI:s lanseringstabell placerar GPT-6 Astra på 57,3, GPT-6 Sol på 53,9, Claude Opus 5.5 på 52,4 och GPT-6 Luna på 50,2. Äldre modeller faller kraftigt: GPT-4o från mars 2025 på 32,1 och Gemini 2.5 Pro på 29,5.
Var och en av de siffrorna är leverantörens egna. OpenAI byggde testet, skrev bedömningsmallen med den panel bolaget rekryterat, körde utvärderingen och använde en av sina egna modeller — GPT-5.6 Sol med hög resonemangsnivå — som rättare. De två konkurrerande modellerna i tabellen poängsattes av OpenAI, inte av sina tillverkare.
Det är ingen anklagelse om ohederlighet. Det är den vanliga reservationen inför varje leverantörstest, och den väger tyngre här eftersom mallen kodar omtvistliga kliniska bedömningar och inte ett rätt svar.
Varför det öppna släppet betyder mer än siffrorna
Det användbara är att OpenAI publicerat själva samlingen och inte bara topplistan. Andra forskare kan köra den, invända mot mallen, rätta om med en annan modell eller bygga vidare. Exemplen bär en kanariemärkning, och OpenAI ber att de inte läggs ut i klartext så att samlingen inte läcker in i träningsdata.
Det är rätt form för en sådan här utvärdering, och ett verkligt framsteg jämfört med krisresponstester, som bara frågar om en modell säger rätt sak när någon uttrycker en avsikt att skada sig själv. Merparten av skadeytan finns inte där. Den finns i de 53,5 procent vanliga samtal där en modell kan ha subtilt fel i veckor.
Vad testet inte kan säga är om någon fick hjälp. Samtalen är syntetiska. Ett högt resultat betyder att ett svar stämde med vad en panel kliniker sagt att det borde innehålla, vilket är ett ombud för omsorg och inte ett mått på den. Siffran värd att vänta på är den första oberoende omrättningen.
