Un cambio de prompt, un vuelco de 52 puntos
El Allen Institute for AI publicó el 27 de octubre un benchmark para una tarea que se ha vuelto estructural sin hacer ruido: que un modelo de lenguaje decida si una idea de investigación es nueva. Ai2 lo llama Old Ideas, Novel Problems, y su hallazgo principal es que los jueces no son estables.
Con un solo cambio de prompt, la precisión de GPT-5.4 en pares de ideas humanas frente a generadas cayó del 93,5% al 40,9%. El mismo tipo de cambio movió a Claude Opus 4.6 en 21 puntos en el conjunto solo humano. En las pruebas de comparación de generadores, entre una cuarta parte y un tercio de los veredictos cambiaron de media. No son casos límite que se desplazan en el margen: un juez que saca 40,9% en una elección binaria rinde peor que una moneda.
Cómo está construida la prueba
Ai2 tomó las ideas humanas de las revisiones por pares de ICLR 2026, dividiéndolas en un grupo de alta novedad de 154 ideas y otro de menor novedad de 145. Un segundo escenario, Human+Generated, enfrenta las 154 ideas humanas con 154 ideas de un generador LLM sencillo. Los jueces se evalúan en dos formatos: puntual, valorando una idea por sí sola, y por pares, eligiendo la más novedosa de dos.
Se probaron seis jueces: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 y Claude Opus 4.6. Ai2 publicó el conjunto de datos, el código y una tubería para construir nuevos conjuntos de evaluación junto con los resultados.
Gana la base barata
La comparación de costes es la parte sobre la que actuará un grupo de investigación. Una base simple con Claude Opus 4.6 y un prompt directo obtuvo 0,854 de macro-F1 por 2,59 dólares. Idea Novelty Checker, un evaluador construido para esto, obtuvo 0,642 por 30,66 dólares. El evaluador AI Scientist de Sakana obtuvo 0,772 por 82,05 dólares. El prompt simple superó a ambas herramientas en precisión y en coste a la vez.
Añadir agencia tampoco lo salvó. Un juez agéntico GPT-5.6 Sol alcanzó 0,78 de macro-F1, por debajo del 0,89 de Claude Opus 4.6. La lectura de Ai2 es que más búsqueda y más razonamiento no mejoran de forma fiable los juicios de novedad.
Por qué importa ahora
Las comprobaciones automáticas de novedad están dentro de las tuberías de generación de ideas que usan laboratorios y startups para filtrar propuestas de investigación generadas por máquina, y cada vez más dentro de los flujos de revisión. Si el veredicto de un juez se da la vuelta al reescribir un prompt, el filtro no mide novedad: mide el prompt.
Ai2 informa de que la fragilidad es peor con ideas generadas por IA que con las humanas, que es justamente el caso para el que se despliegan estos sistemas. El consejo práctico que se desprende del trabajo no favorece al mercado de herramientas: antes de comprar un evaluador de novedad, pruébalo contra un prompt simple y comprueba si sus veredictos sobreviven a una reescritura de las instrucciones.
