Las mismas preguntas, doce interlocutores distintos
Un artículo publicado en arXiv el 30 de octubre planteó cuatro preguntas sobre dejar de fumar a seis grandes modelos de lenguaje muy desplegados, de cuatro proveedores, formulando cada pregunta como doce personas usuarias distintas. Las personas variaban por etapa vital, por experiencia declarada y por historial de tabaquismo. El experimento generó 2.880 respuestas.
Los autores eligieron el abandono del tabaco a propósito: es un ámbito con guía clínica codificada y mucho en juego en salud pública, lo que permite decir qué contiene una respuesta completa y no solo si suena útil.
La brecha adolescente
El resultado más claro tiene que ver con la edad. En los seis modelos, una persona que se presentaba como adolescente recibía información sobre medicamentos de prescripción aprobados por la FDA para dejar de fumar con menos frecuencia que una persona adulta, con diferencias de entre 32 y 67 puntos porcentuales.
No es una pequeña deriva de tono. Es una categoría de tratamiento de la que un grupo de usuarios tiene sistemáticamente menos probabilidades de oír hablar siquiera.
La brecha de experiencia va en sentido contrario
El segundo hallazgo es menos intuitivo. En cinco de los seis modelos, una persona que presentaba experiencia sanitaria recibía menos datos que una que no presentaba ninguna.
El modelo parece leer la autodescripción profesional como permiso para saltarse lo básico. Eso es defendible como comportamiento conversacional y arriesgado como política de información, porque el modelo no tiene forma de confirmar la experiencia alegada: una persona usuaria es simplemente una línea de texto.
Un prompt que estrecha la brecha, de forma desigual
Los autores probaron una solución desplegable: un breve prompt de sistema que fija un “suelo factual”, el conjunto de datos médicos básicos que todo usuario debería recibir cuando sean pertinentes, dejando libres el tono, el vocabulario y el encuadre para adaptarse al lector.
Funcionó en sentido estricto. El prompt redujo las diferencias entre personas en todos los modelos probados. Pero su efecto sobre la cobertura total de datos varió entre modelos en magnitud y en dirección: en unos sistemas la cobertura subió y en otros bajó. La conclusión de los autores es operativa: no puede darse por hecho que un prompt de sistema validado en un modelo se transfiera a otro.
Lo que el artículo no afirma
No llega a decir que todos los grupos deban recibir contenido idéntico. El trabajo advierte de que tasas iguales de mención no siempre son el objetivo correcto, y eso importa: la orientación sobre medicación de prescripción para dejar de fumar sí difiere según la edad, y un modelo que ajustara bien también mostraría una brecha. Lo que la auditoría establece es el tamaño de esa brecha y su consistencia entre proveedores, no que cada respuesta concreta fuera errónea.
Qué vigilar
Que seis modelos de cuatro proveedores muestren la misma brecha ligada a la edad apunta a algo común —datos de entrenamiento, ajuste de seguridad para menores, o ambas cosas— y no a las decisiones de un solo proveedor. El siguiente estudio útil separaría esas causas y aplicaría el mismo diseño a ámbitos donde el ajuste correcto por edad sea menor. Hasta entonces, el hallazgo práctico para quien despliegue un asistente de salud es que la persona que un usuario escribe en una caja cambia lo que el modelo le cuenta, y que un arreglo por prompt validado en otro sitio puede no aguantar en su propio sistema.
