Medir la elección, no el resultado
La mayoría de las evaluaciones de un agente de investigación preguntan si su resultado es bueno. Un preprint publicado en arXiv el 29 de octubre, rTaste: Do Research Agents Have Taste?, plantea una pregunta más estrecha e incómoda: ¿sabe el agente cuál de sus propias ideas merece ejecutarse, antes de que nadie sepa en qué acaba?
El montaje lo hace medible. A seis modelos de frontera se les dan siete artículos recientes de procesamiento del lenguaje natural. Trabajando solos o en equipo, cada uno propone experimentos mínimos viables, pronostica si cada uno superará un umbral que el propio modelo fija, y los ordena. Después, un ejecutor independiente intenta todas las propuestas, incluidas las que el agente dejó en último lugar. Tres modelos auditores juzgan los resultados.
Ejecutar los experimentos descartados es la decisión de diseño que importa. Sin ella no se puede puntuar una clasificación, porque nadie sabe qué habrían producido las opciones rechazadas.
Qué produjeron 415 experimentos
Los agentes generaron entre todos 415 experimentos mínimos viables. Los auditores juzgaron 194 de ellos sólidos, valiosos y nuevos. De esos 194, menos de la mitad —73— también se juzgaron más allá del artículo de partida y no obvios.
Así que aproximadamente una propuesta de cada seis supera el listón más alto. No es una cifra demoledora para una tubería automatizada. El problema que identifica el artículo es lo que pasa después.
La clasificación no se gana su sitio
Las primeras elecciones de los agentes coinciden con el experimento más valorado por los auditores más a menudo que una elección al azar. Pero, escriben los autores, no se ha demostrado que esas elecciones mejoren una regla mucho más simple: quedarse con el experimento que el agente escribió primero.
A los pronósticos les va algo parecido. Superan una tasa base, pero no son medibles como más precisos que los de una instancia nueva del mismo modelo a la que solo se le da el artículo y los registros, es decir, una instancia sin nada del contexto que el agente proponente acumuló.
Y los equipos, la configuración a la que se suele recurrir cuando un solo agente rinde poco, cuestan más sin una mejora clara en la calidad general de las propuestas.
Sobre qué incide el resultado
El propio resumen del artículo es contenido: los agentes producen muchos experimentos valiosos, pero las pruebas de que sus clasificaciones mejoren la elección de cuál ejecutar siguen siendo limitadas. Es una afirmación sobre una capacidad, no sobre los agentes de investigación en general.
Conviene enunciar los límites. Siete artículos de procesamiento del lenguaje natural son un conjunto de partida pequeño y de un solo campo. Los juicios de solidez, valor y novedad proceden de modelos auditores y no de revisores humanos, lo que deja el criterio de un modelo en manos de otros modelos. Y el diseño que hace medible la clasificación —ejecutar todas las propuestas, incluidas las descartadas— es lo bastante caro como para limitar cuánto puede crecer el banco de pruebas.
Los autores han publicado el arnés de evaluación y un conjunto de datos con las 415 propuestas, sus pronósticos y los resultados auditados. Para quien construya un sistema que fije su propia agenda de investigación, el hallazgo útil es dónde invertir esfuerzo: generar candidatos parece funcionar; decidir entre ellos aún no se ha demostrado.
