Qué contiene
OpenAI publicó MentalHealthBench el 23 de septiembre. Es un conjunto abierto de 1.215 conversaciones sintéticas sobre salud mental, acompañadas de 5.262 criterios de evaluación, escritas con más de 80 psicólogos y psiquiatras colegiados de 22 países que trabajan en 19 idiomas.
Las conversaciones no son todas crisis, y eso es deliberado. Se reparten en un 53,5 por ciento no agudas —preocupación cotidiana, sueño, estrés—, un 18,2 por ciento de alta agudeza y un 28,3 por ciento de emergencia, es decir, con la seguridad inmediata de alguien en juego. Quien habla es un adulto en el 68,1 por ciento de los casos, un adolescente en el 21,2, un clínico en el 5,8 y un cuidador en el 4,9. Junto al inglés hay 105 conversaciones en español, 54 en hindi, 34 en árabe, 29 en portugués y conjuntos menores en alemán, italiano, persa, indonesio, turco y chino.
Los criterios llevan pesos de -10 a +10, de modo que una respuesta puede perder puntos por un movimiento equivocado y no solo ganarlos por el acertado. Se agrupan en comportamientos como buscar contexto, calibrar la urgencia, contrastar con la realidad y dejar al usuario su propia capacidad de decisión.
Las puntuaciones y quién las produjo
La tabla de lanzamiento de OpenAI sitúa a GPT-6 Astra en 57,3, a GPT-6 Sol en 53,9, a Claude Opus 5.5 en 52,4 y a GPT-6 Luna en 50,2. Los modelos más antiguos caen con fuerza: GPT-4o de marzo de 2025 en 32,1 y Gemini 2.5 Pro en 29,5.
Todas esas cifras las aporta el propio fabricante. OpenAI construyó la prueba, escribió la rúbrica con el panel que reclutó, ejecutó la evaluación y usó uno de sus modelos —GPT-5.6 Sol con esfuerzo de razonamiento alto— como corrector. Los dos modelos rivales de la tabla fueron puntuados por OpenAI, no por sus fabricantes.
No es una acusación de mala fe. Es la advertencia habitual ante cualquier prueba de fabricante, y aquí pesa más porque la rúbrica codifica juicios clínicos discutibles y no una respuesta correcta.
Por qué la apertura importa más que los números
Lo útil es que OpenAI ha publicado el conjunto y no solo la clasificación. Otros investigadores pueden ejecutarlo, discrepar de la rúbrica, volver a corregir con otro modelo o construir sobre él. Los ejemplos llevan un identificador canario, y OpenAI pide que no se publiquen en texto plano para que el conjunto no se filtre a los datos de entrenamiento.
Esa es la forma correcta para una evaluación así, y supone un avance real sobre las pruebas de respuesta a crisis, que solo preguntan si un modelo dice lo adecuado cuando alguien expresa intención de hacerse daño. La mayor parte de la superficie de daño no está ahí. Está en ese 53,5 por ciento de conversaciones corrientes en las que un modelo puede equivocarse de forma sutil durante semanas.
Lo que la prueba no puede decir es si alguien recibió ayuda. Las conversaciones son sintéticas. Una puntuación alta significa que una respuesta coincidió con lo que un panel de clínicos dijo que debía contener, lo cual es un sustituto del cuidado y no una medida de él. La cifra que conviene esperar es la primera corrección independiente.
