Una línea en lugar de una lista
OpenAI y Google dijeron el 30 de octubre que respetarán un único token compartido en robots.txt con el que un sitio web puede expresar si quiere que su contenido se use para entrenar IA generativa. Hasta ahora el responsable de un sitio tenía que nombrar cada rastreador y mantener una regla separada por proveedor. La entrada de OpenAI plantea el problema sin rodeos: los operadores “identificaban rastreadores individuales y mantenían reglas separadas para todos y cada uno de los proveedores”, y una señal compartida “reduce ese trabajo”.
El token es __usage_ai-training. Está definido en un borrador individual de internet en el IETF, presentado el 30 de octubre por Kevin Kelley, de Anthropic, y se usa como clave de grupo User-Agent dentro de un grupo normal de robots.txt, lo que significa que hereda las reglas de ruta que un editor ya sabe escribir y puede aplicarse a un directorio en lugar de a todo el sitio.
Las fechas no cuadran
Ninguna de las dos empresas lo ha implementado. OpenAI dice que pretende hacerlo “en los próximos meses” y que publicará otra actualización con los detalles cuando lo haga. Google dice que pretende admitir el control “junto con otros proveedores de IA en 2027”.
El borrador al que ambas apuntan es un envío individual -00. El registro del IETF lo recoge como Standards Track en su intención, pero señala que un borrador individual no tiene estatus formal en el proceso de estandarización y no está avalado por el IETF. Expira el 3 de mayo de 2027. Con los plazos publicados, el documento que define el token puede caducar antes de que la mayor de las dos empresas empiece a respetarlo. Eso es normal en los borradores del IETF, que se vuelven a presentar de forma rutinaria, pero conviene decirlo claro: quien añada hoy la línea escribe contra un documento con fecha de caducidad y dos promesas de implementación, no contra un estándar.
Lo que no hace
Ambas empresas son explícitas en que la nueva señal se suma a los controles antiguos en lugar de sustituirlos. OpenAI dice que sus controles de rastreo existentes “seguirán aplicándose y siendo respetados”. Google dice que los controles específicos de cada empresa seguirán funcionando junto a la señal conjunta.
Google añade la pieza de interpretación que más importa a quien ya mantiene un fichero robots.txt. Si un sitio usa el token para excluirse del entrenamiento y no nombra explícitamente a Google-Extended, Google planea leerlo como si el editor hubiera prohibido Google-Extended, el control que ofrece desde 2023. Los sitios que permiten explícitamente Google-Extended siguen siendo elegibles para aparecer en respuestas de Gemini Apps y recibir clics por grounding. Es decir, la señal amplia y el control por empresa siguen siendo separables, y quien quiera bloquear el entrenamiento pero permitir el grounding todavía tiene que escribir las dos líneas.
Ninguno de los dos anuncios dice nada del contenido ya recopilado. Un cambio en robots.txt mira hacia adelante por construcción; no alcanza a conjuntos de datos que ya existen ni a modelos ya entrenados.
Por qué ahora
Google vincula la propuesta a la regulación de forma directa, al escribir que “es coherente con el Código de Buenas Prácticas de la UE para proveedores de modelos de IA de uso general (GPAI) bajo el Reglamento de IA, que reconoce robots.txt como método principal para que los editores web expresen preferencias legibles por máquina”. También dice que el borrador recoge aportaciones de editores, grupos de la sociedad civil y reguladores que han pedido controles de alcance sectorial.
Ese es el encuadre honesto. Un token voluntario respetado por dos empresas en calendarios sin precisar no es cumplimiento forzoso. Pero es el mecanismo que el propio código de la UE ya nombra, lo que hace su adopción más barata que la alternativa de discutir qué cuenta como preferencia legible por máquina.
Qué vigilar
Tres cosas. Si el borrador pasa de envío individual a documento adoptado por el grupo de trabajo de Preferencias de IA del IETF, que es lo que lo convertiría en estándar y no en propuesta. Si otros proveedores se suman: OpenAI cierra su entrada animándolos a ello. Y si alguna de las dos empresas publica una fecha, y no una estación, para activar la señal.
