El fallo que da nombre al trabajo
Un artículo subido a arXiv el 3 de noviembre mide lo que llama falsa tranquilidad: un asistente que dice a un usuario que la situación está en calma mientras hay un aviso oficial de fenómeno meteorológico severo activo. El autor, Kadharmoideen Fadurudeen, construyó 117 casos congelados a partir de alertas reales del Servicio Meteorológico Nacional estadounidense —69 con alerta activa, 32 controles sin alerta y 16 ubicaciones fuera de EE. UU.— y los repitió en cinco configuraciones de una canalización de preparación basada en Claude.
El resultado principal es la distancia entre dos cifras. Con alertas reales a mano, la canalización de producción produjo falsa tranquilidad en 0 de 66 casos con alerta, una tasa del 0,0% con un intervalo de confianza del 95% de 0,0 a 5,5. A ciegas —el mismo modelo con una instrucción neutra y sin acceso a alertas— tranquilizó falsamente a los usuarios en 26 de 69 casos, es decir, el 37,7%.
La instrucción que salió al revés
La condición que conviene leer dos veces es la cuarta. Con el mismo montaje a ciegas más una instrucción explícita de revelar su punto ciego, la tasa de falsa tranquilidad del modelo subió al 44,9%, 31 de 69 casos. La diferencia respecto a la condición ciega simple no fue estadísticamente significativa, con p = 0,40, así que la lectura honesta es que la instrucción no hizo nada, más que la empeorara activamente. Lo que desde luego no hizo fue ayudar.
En cambio, darle al modelo alertas reales eliminó la falsa tranquilidad por completo, con una p de McNemar pareada por debajo de 0,0001. El acceso a los datos resolvió el problema. Decirle al modelo que avisara de que le faltaban los datos, no.
Nada se negó de forma explícita
Todos los casos de falsa tranquilidad del estudio fueron implícitos. Ninguna respuesta negó explícitamente que existiera una alerta. El modelo simplemente respondía como si no pasara nada, y por eso este fallo es difícil de detectar automáticamente. El autor señala que una medida automática basada en expresiones regulares pasó por alto 53 de 57 casos reales, por lo que no se usó; las 342 respuestas de casos con alerta fueron etiquetadas por un único evaluador con un esquema de siete categorías, desarrollado tras una primera pasada binaria, que el trabajo declara.
El coste del arreglo
La instrucción de producción no es gratis. En los 32 controles sin alerta, la instrucción neutra generó algún grado de alarma en el 87,5% de los casos, frente al 0% con la instrucción de producción. Una ablación preregistrada de una sola frase mostró que una instrucción de producción explica parte de esa diferencia. Dicho de otro modo: la configuración que nunca tranquilizó en falso es también la que no da falsas alarmas, pero el equilibrio entre ambas lo gestiona la redacción de la instrucción, no el criterio del modelo.
El autor informa además de dos fallos operativos de la canalización: productos de prueba del Servicio Meteorológico Nacional fueron ingeridos como si fueran alertas reales, y un presupuesto de tokens falló en casos complejos.
Qué vigilar
El estudio es una evaluación de un solo autor y un solo evaluador sobre una familia de modelos, y sus límites se declaran como tales. Lo que lo hace utilizable es que es repetible: el conjunto de datos, las etiquetas y el código están publicados en Zenodo bajo CC BY 4.0. La prueba que conviene hacer a continuación es la misma repetición con asistentes de otros proveedores, y con los que sí tienen acceso a alertas en vivo pero quizá no siempre lo usan.
