Une ligne au lieu d’une liste
OpenAI et Google ont déclaré tous deux le 30 octobre qu’ils respecteraient un unique jeton partagé dans robots.txt, par lequel un site peut indiquer s’il accepte que son contenu serve à l’entraînement d’IA générative. Jusqu’ici, un responsable de site devait nommer chaque robot et tenir une règle distincte par fournisseur. Le billet d’OpenAI pose le problème sans détour : les exploitants «identifiaient les robots un par un et maintenaient des règles distinctes pour chaque fournisseur», et un signal partagé «réduit ce travail».
Le jeton s’appelle __usage_ai-training. Il est défini dans un Internet-Draft individuel déposé à l’IETF le 30 octobre par Kevin Kelley, d’Anthropic, et s’emploie comme clé de groupe User-Agent dans un groupe robots.txt ordinaire : il hérite donc des règles de chemin qu’un éditeur sait déjà écrire, et peut s’appliquer à un seul répertoire plutôt qu’à tout un site.
Les dates ne concordent pas
Aucune des deux entreprises ne l’a mis en œuvre. OpenAI dit viser «les prochains mois» et promet une autre mise à jour détaillant son implémentation. Google dit viser la prise en charge du contrôle «avec d’autres fournisseurs d’IA en 2027».
Le projet que les deux citent est une soumission individuelle -00. Le registre de l’IETF indique une intention Standards Track mais note qu’un projet individuel n’a aucun statut formel dans le processus de normalisation et n’est pas approuvé par l’IETF. Il expire le 3 mai 2027. Selon les calendriers publiés, le document qui définit le jeton peut donc devenir caduc avant que la plus grande des deux entreprises ne commence à le respecter. C’est ordinaire pour un projet IETF, régulièrement redéposé, mais cela mérite d’être dit : qui ajoute la ligne aujourd’hui écrit contre un document daté et deux promesses de mise en œuvre, pas contre une norme.
Ce que cela ne fait pas
Les deux entreprises sont explicites : le nouveau signal s’ajoute aux contrôles existants, il ne les remplace pas. OpenAI dit que ses contrôles de robots actuels «continueront de s’appliquer et d’être respectés». Google dit que les contrôles propres à chaque entreprise continueront de fonctionner aux côtés du signal commun.
Google ajoute l’élément d’interprétation le plus important pour qui tient déjà un fichier robots.txt. Si un site emploie le jeton pour refuser l’entraînement sans nommer explicitement Google-Extended, Google prévoit de le lire comme si l’éditeur avait interdit Google-Extended, le contrôle offert depuis 2023. Les sites qui autorisent explicitement Google-Extended restent éligibles aux réponses de Gemini Apps et aux clics par ancrage. Le signal large et le contrôle par entreprise restent donc dissociables, et qui veut bloquer l’entraînement tout en autorisant l’ancrage doit encore écrire les deux lignes.
Ni l’une ni l’autre annonce ne dit rien du contenu déjà collecté. Une modification de robots.txt est prospective par construction : elle n’atteint ni les jeux de données existants ni les modèles déjà entraînés.
Pourquoi maintenant
Google relie directement la proposition à la réglementation, écrivant qu’elle «est cohérente avec le code de bonnes pratiques de l’UE pour les fournisseurs de modèles d’IA à usage général au titre du règlement sur l’IA, qui reconnaît robots.txt comme méthode principale permettant aux éditeurs web d’exprimer des préférences lisibles par machine». L’entreprise ajoute que le projet reflète les retours d’éditeurs, d’organisations de la société civile et de régulateurs réclamant des contrôles à l’échelle du secteur.
C’est le cadrage honnête. Un jeton volontaire respecté par deux entreprises selon des calendriers imprécis n’est pas une application du droit. Mais c’est le mécanisme que le code de l’UE nomme déjà, ce qui rend son adoption moins coûteuse que de discuter de ce qui constitue une préférence lisible par machine valide.
Ce qu’il faut surveiller
Trois choses. Le passage du projet du statut de soumission individuelle à celui de document adopté par le groupe de travail de l’IETF sur les préférences d’IA, ce qui en ferait une norme et non une proposition. Le ralliement d’autres fournisseurs : OpenAI clôt son billet en les y invitant. Et la publication, par l’une ou l’autre, d’une date plutôt que d’une saison pour activer le signal.
