Qué se ha publicado
El Allen Institute for AI ha publicado FairStress, un test de equidad demográfica en las decisiones de los modelos, el 20 de octubre. Se construye con 300 escenarios de dos candidatos en 29 ámbitos de decisión, entre ellos contratación, crédito, sanidad, educación, vivienda y justicia penal, ampliados a más de 13 millones de casos de prueba. Un subconjunto de 50.000 ítems, FairStress-Core, se selecciona con teoría de respuesta al ítem para ejecuciones más rápidas. El conjunto de datos está en Hugging Face, el código en GitHub, y Ai2 dice que se está incorporando a Olmo-eval.
El diseño tiene dos ejes. La identidad demográfica aparece en cuatro niveles: ausente, insinuada por un nombre codificado, insinuada por el contexto o declarada sin rodeos. Y cada escenario se acompaña de lo que los autores llaman prefijos adversarios: afirmaciones persuasivas a favor de un candidato, cada una con una versión equivalente a favor del otro. Lo que Ai2 mide es la “equidad simétrica”: los mismos criterios y la misma resistencia a dejarse convencer, sea quien sea el beneficiado.
El hallazgo sobre la medición
El resultado más consecuente es metodológico. Al ejecutar el test anterior BBQ, Ai2 informa de que los modelos se inclinaban en general hacia lo coherente con el estereotipo, pero que cambiar la puntuación —de probabilidades sobre opciones fijas a respuestas generadas— desplazó a varios modelos hacia un comportamiento favorable a la minoría. Dicho de otro modo, la dirección del sesgo medido dependía de cómo se ejecutara la prueba.
Eso importa mucho más allá de este trabajo. Las puntuaciones de equidad se citan en fichas de modelo, decisiones de compra pública y expedientes regulatorios, y una puntuación cuyo signo se mueve con el banco de pruebas es un objeto más frágil de lo que parece.
Qué hicieron los modelos
En el propio FairStress, Ai2 informa de que el comportamiento era casi simétrico cuando no había información demográfica, y de que la asimetría crecía a medida que la identidad se hacía más explícita. El patrón hallado va contra la expectativa habitual: los modelos abandonaban con más facilidad una elección correcta cuando el cambio favorecía a un candidato codificado como minoritario, un comportamiento que los autores llaman sobrecorrección antiestereotípica.
Las brechas son concretas. Ai2 sitúa la diferencia media al abandonar respuestas correctas en 6,9 puntos con identidad insinuada y 9,3 puntos con etiquetas explícitas. Cuando ningún candidato era objetivamente mejor, dice que los modelos de frontera eligieron al candidato minoritario entre el 60% y el 65% de las veces. Con prefijos adversarios equivalentes, el cambio hacia un candidato minoritario fue entre 8,8 y 42,4 puntos más frecuente que a la inversa, en doce ejecuciones de modelo y modo.
También diferían las explicaciones: las justificaciones de elecciones minoritarias usaban más palabras como “resiliencia” y “barreras”, mientras que las mayoritarias recurrían más al lenguaje procedimental sobre criterios.
Arreglos que no funcionaron
Ai2 probó nueve métodos de mitigación del sesgo. La mayoría no redujo la asimetría de forma fiable, y algunos costaron mucha precisión: un método de dirección de activaciones hundió a Qwen2.5-7B-Instruct del 98% al 47% en casos que los autores describen como claros. La cadena de pensamiento contrafáctica estrechó la brecha preservando en gran medida la precisión, pero no la cerró.
Las advertencias de los autores
FairStress codifica una definición de equidad centrada en la igualdad y no recoge enfoques basados en la equidad redistributiva, lo cual es una elección y no un hallazgo. El trabajo de interpretabilidad —las activaciones internas predijeron el lado elegido en torno al 73% de las veces, frente al 57-59% de las descripciones textuales de esas activaciones— abarca solo dos modelos y unos pocos contrastes demográficos. Una auditoría de los datos de entrenamiento de Olmo 3 encontró solo nueve de 28.000 grupos temáticos que trataran decisiones basadas en el mérito, todos ellos negativas, pero Ai2 dice que no está resuelto si esos patrones causan el comportamiento. Algunas estimaciones sobre el encuadre del aprendizaje por refuerzo se apoyan en apenas ocho indicaciones.
Qué observar
El siguiente paso útil es que otros lo ejecuten. El conjunto de datos y el código son públicos y el subconjunto Core es lo bastante pequeño como para correrlo barato, así que las cifras de asimetría son comprobables de un modo que el resultado sobre BBQ vuelve urgente: si una decisión de puntuación puede invertir el signo de una medición de equidad, toda cifra de equidad publicada necesita llevar su banco de pruebas adjunto.
