Darse cuenta no es aplicar
Un nuevo artículo en arXiv sostiene que los modelos de lenguaje detectan de forma fiable que una guía clínica ha sido revisada y luego no actúan en consecuencia. Min Zeng, Zaifu Zhan, Kai Yu y Rui Zhang lo publicaron el 22 de octubre.
El banco de pruebas que hay detrás se llama ChronoEvo. Contiene 1.709 revisiones a nivel de recomendación que cubren doce tipos de cambio en el conocimiento médico: las formas en que la orientación cambia realmente, y no una prueba general de memoria clínica. La pregunta que plantea a un modelo no es si conoce la guía, sino si su respuesta refleja la versión vigente.
En lo que el artículo llama el modelo principal, el 90,8% de las respuestas reconocieron que la recomendación había sido revisada. El 80,2% fueron clínicamente correctas. Solo el 58,5% incorporaron por completo la orientación revisada. Son 32,3 puntos porcentuales de distancia entre ver el cambio y actuar sobre él. El artículo no nombra al modelo principal ni a ninguno de los catorce que ejecutó. La misma disociación, dice, apareció en todos ellos.
Qué encontraron los médicos
La puntuación automática se contrastó con el juicio humano. Dos médicos arbitraron 300 respuestas y, en esa muestra, la brecha entre reconocimiento e incorporación resultó de 40,3 puntos porcentuales: más amplia que la medida del propio banco de pruebas, no más estrecha.
Esa dirección importa. Un banco de pruebas que halaga a los modelos que evalúa es un problema conocido. Este parece hacer lo contrario, lo que convierte la cifra de titular en un suelo y no en un techo.
Qué cambios lo rompen
El artículo identifica los tipos de revisión que los modelos manejan peor. Los cambios en la fuerza de una recomendación —un tratamiento que pasa de “debe” a “puede considerarse”— y los cambios en qué pacientes son elegibles se asociaron con modelos que conservaban la indicación superada. Son revisiones que dejan la intervención en su sitio y alteran las condiciones a su alrededor, justo el tipo de cambio que se le escapa a quien lee buscando el nombre del fármaco.
La intervención que funcionó a medias
Los autores probaron a hacer más visible la revisión en lo que se entregaba al modelo. Redujo el contenido desactualizado y mejoró la corrección clínica. No mejoró de forma significativa la incorporación completa.
Ese es el hallazgo más útil del artículo para quien despliegue estos sistemas. El arreglo barato —mostrar la actualización, señalar el cambio, poner el texto nuevo primero— mueve las métricas fáciles de mover. No cierra la brecha que importa, que es si la respuesta que lee un médico se apoya en la recomendación vigente o en la que fue sustituida.
Qué vigilar
Los sistemas con recuperación aumentada son la respuesta estándar al conocimiento médico caduco, y este resultado no refuta ese enfoque tanto como describe su modo de fallo: el documento vigente se recupera, el modelo lo reconoce y la respuesta sigue reflejando lo que el modelo aprendió en el entrenamiento.
La prueba que conviene hacer a continuación es el mismo banco contra herramientas clínicas en producción y no contra modelos base, y con los nombres publicados. Catorce modelos anónimos sirven para un argumento de investigación. Con nombre servirían para una decisión de compra.
