Una evaluación construida a partir de encuestas de uso del tiempo
OpenAI publicó LifeVal el 2 de noviembre, una evaluación interna que, según dice, mide hasta qué punto sus modelos resuelven “las tareas que importan en la vida cotidiana”: buscar cuidado infantil, acceder a servicios públicos, hacer un presupuesto, adaptar recetas, pedir la compra.
La lista de tareas no es inventada. OpenAI partió de dos encuestas estadísticas de largo recorrido sobre cómo pasa la gente su tiempo, la American Time Use Survey y el Multinational Time Use Study, y después hizo su propia encuesta demográficamente representativa a 3.995 personas preguntando en qué querrían más ayuda de un asistente personal. Las tareas resultantes abarcan cuidados, salud, educación, administración del hogar, finanzas personales, compras y acceso a servicios públicos.
Las notas que eligió enseñar
La página publicada ofrece cinco tareas de ejemplo con un porcentaje asociado a cada una. Matricular a un hijo en el colegio infantil adecuado tras una mudanza: 93,1%. Organizar voluntarios para proteger de inundaciones las casas de cuatro vecinos: 98,0%. Encontrar una vivienda en el condado de Luzerne dentro de presupuesto, con una unidad habitacional separada y un trayecto corto, y añadir la escritura al carrito de registros del condado: 100%. Montar una forma de ver un partido a distancia con una abuela: 96,3%. Preparar un plan de cuidados y comidas para la primera semana de un padre recién diagnosticado de diabetes: 90,4%.
OpenAI dice que sus “modelos más recientes puntúan muy alto en muchas tareas de LifeVal”. No dice qué modelo produjo esos cinco números, cómo se puntúa una tarea, qué cuenta como éxito, quién juzgó, ni cómo se escogieron esos cinco ejemplos del conjunto completo.
Lo que no se publica
LifeVal no es una evaluación abierta. No hay publicación del conjunto de datos, ni artículo, ni tabla de clasificación, ni ejecución independiente. Cada cifra de la página es un resultado comunicado por el proveedor sobre una evaluación construida por el proveedor, y la propia página dice que OpenAI la ha usado internamente “para seguir e impulsar la mejora del rendimiento de los modelos en tareas cotidianas durante el último año”, es decir, como objetivo de entrenamiento además de como medida.
Eso no la descalifica; los laboratorios construyen evaluaciones internas continuamente. Sí significa que los números dicen algo sobre el progreso de OpenAI respecto a su propio objetivo, y nada comparable sobre ningún otro sistema.
Por qué OpenAI la publica ahora
El encuadre vincula la evaluación al trabajo de capacidades, no a la calidad conversacional. OpenAI dice que en el último año ha entrenado sus modelos para ser “mucho más rápidos, más capaces y más alineados” en uso del navegador, uso del ordenador y tareas con conectores, y que habilitar eso en ChatGPT amplía lo que se le puede pedir al asistente. LifeVal es el boletín de notas de ese giro: de responder preguntas a ejecutar acciones por alguien.
Qué vigilar
El siguiente paso útil sería el que OpenAI no ha dado: publicar el conjunto de tareas, el criterio de puntuación y la distribución completa de resultados, para que una nota en LifeVal signifique algo para quien no trabaja en OpenAI. Hasta entonces, un 100% en encontrar vivienda es una afirmación, no una medida que nadie más pueda comprobar.
