Por qué el experimento habitual prueba poco
Si un modelo se entrenó con un documento concreto es la pregunta que está debajo de varios debates a la vez: reclamaciones de derechos de autor, quejas de privacidad y si una puntuación en un banco de pruebas significa algo. La inferencia de pertenencia es la técnica que se usa para responderla, y un artículo publicado en arXiv el 30 de octubre sostiene que la mayoría de sus evaluaciones no son prueba en ninguna dirección.
El fallo está en cómo se montan los conjuntos de prueba. Los investigadores suelen recoger miembros y no miembros después del entrenamiento, lo que significa que los dos grupos pueden diferir en tema, estilo o época además de en pertenencia. Un método que parece acertar puede estar detectando esa diferencia, y un método que falla no ha demostrado ser inútil: puede que le hayan dado un emparejamiento imposible.
Una repetición con cara o cruz
Los autores eliminaron esa ambigüedad reconstruyendo la propia ejecución de entrenamiento. Repitieron la etapa oficial de entrenamiento intermedio de 50.000 millones de tokens de OLMo 2 1B, sustituyendo fragmentos de entrenamiento seleccionados por documentos tomados de 7.814 pares emparejados por dominio y dificultad. Para cada par, un lanzamiento de moneda decidió qué documento entraba en el entrenamiento y cuál quedaba fuera.
El contrafactual es lo que hace que esto funcione. La ejecución publicada por el Allen Institute for AI con la misma semilla vio datos idénticos en todo lo demás, de modo que sirve como modelo de referencia que se diferencia del experimento solo en los documentos insertados.
Una exposición no basta
El resultado principal es negativo y está formulado con precisión. Una sola exposición sí eleva en promedio la verosimilitud de un documento no visto antes, pero rara vez lo identifica.
Usando el contrafactual como referencia, el método de cociente de referencia alcanza un área bajo la curva ROC de 0,767, lo que suena respetable. Aplicado como prueba práctica, con un único umbral mantenido entre dominios, detecta el 3,8% de los miembros con una tasa de falsos positivos del 1%. Esa es la cifra que importa a quien quiera afirmar algo sobre un documento concreto, y es casi inservible.
Trece documentos sí bastan
Los mismos datos sostienen una afirmación mucho más fuerte a nivel de colección. Con 13 pares emparejados, una prueba estadística pareada alcanza un 80% de potencia al nivel del 5% para detectar que una colección formó parte del entrenamiento.
Las condiciones se declaran: no miembros del mismo dominio y un modelo de referencia cercano. Ambas son restricciones reales: quien examine desde fuera un modelo comercial no tiene ni una ejecución contrafactual ni, por lo general, no miembros emparejados.
Qué significa para los debates que toca
El resultado corta en dos direcciones y no favorece limpiamente a ninguna parte. Un titular de derechos que pregunte si su libro concreto estaba en un conjunto de entrenamiento plantea la pregunta que la evidencia no puede responder a partir de una exposición. Un titular que pregunte si estaba su catálogo plantea una pregunta que trece documentos pueden zanjar, si la comparación se construye bien.
Para la contaminación de bancos de pruebas la implicación es la misma: la detección individual, pieza a pieza, es débil; la detección a nivel de colección no lo es.
Qué vigilar
El experimento fue posible porque OLMo 2 es un modelo abierto con receta de entrenamiento publicada, semillas liberadas y etapas reproducibles. Ningún laboratorio de frontera ofrece eso, así que el método no puede apuntarse a los modelos sobre los que realmente giran los argumentos legales. Habrá que ver si alguien construye una aproximación a una referencia contrafactual para un modelo cerrado, y si el resultado de los trece pares acaba en un escrito judicial.
