Uma linha em vez de uma lista
A OpenAI e a Google disseram ambas em 30 de outubro que vão respeitar um único token partilhado em robots.txt através do qual um sítio pode indicar se quer que o seu conteúdo seja usado para treinar IA generativa. Até agora, o responsável por um sítio tinha de nomear cada rastreador e manter uma regra separada por fornecedor. O texto da OpenAI coloca o problema sem rodeios: os operadores “identificavam rastreadores individuais e mantinham regras separadas para todos e cada um dos fornecedores”, e um sinal partilhado “reduz esse trabalho”.
O token chama-se __usage_ai-training. Está definido num Internet-Draft individual no IETF, entregue a 30 de outubro por Kevin Kelley, da Anthropic, e usa-se como chave de grupo User-Agent dentro de um grupo normal de robots.txt — ou seja, herda as regras de caminho que um editor já sabe escrever e pode aplicar-se a um diretório em vez do sítio inteiro.
As datas não batem certo
Nenhuma das empresas o implementou. A OpenAI diz que pretende fazê-lo “nos próximos meses” e que publicará outra atualização com os detalhes quando isso acontecer. A Google diz que pretende suportar o controlo “juntamente com outros fornecedores de IA em 2027”.
O rascunho para que ambas apontam é uma submissão individual -00. O registo do IETF indica intenção de Standards Track, mas nota que um rascunho individual não tem estatuto formal no processo de normalização e não é endossado pelo IETF. Expira a 3 de maio de 2027. Com os prazos publicados, o documento que define o token pode caducar antes de a maior das duas empresas começar a respeitá-lo. Isso é normal em rascunhos do IETF, que são rotineiramente reapresentados, mas vale a pena dizê-lo: quem acrescenta a linha hoje escreve contra um documento com data de validade e duas promessas de implementação, não contra uma norma.
O que não faz
Ambas as empresas são explícitas em que o novo sinal se soma aos controlos antigos em vez de os substituir. A OpenAI diz que os seus controlos de rastreio existentes “continuarão a aplicar-se e a ser respeitados”. A Google diz que os controlos específicos de cada empresa continuarão a funcionar ao lado do sinal conjunto.
A Google acrescenta a peça de interpretação que mais importa a quem já mantém um ficheiro robots.txt. Se um sítio usar o token para recusar o treino e não nomear explicitamente o Google-Extended, a Google tenciona ler isso como se o editor tivesse proibido o Google-Extended, o controlo que oferece desde 2023. Os sítios que permitem explicitamente o Google-Extended continuam elegíveis para aparecer em respostas das Gemini Apps e receber cliques por grounding. O sinal amplo e o controlo por empresa continuam, pois, separáveis, e quem quiser bloquear o treino mas permitir o grounding ainda tem de escrever as duas linhas.
Nenhum dos anúncios diz o que quer que seja sobre conteúdo já recolhido. Uma alteração no robots.txt é prospetiva por construção; não alcança conjuntos de dados que já existem nem modelos já treinados.
Porquê agora
A Google liga a proposta diretamente à regulação, escrevendo que “é consistente com o Código de Conduta da UE para fornecedores de modelos de IA de finalidade geral ao abrigo do Regulamento da IA, que reconhece o robots.txt como método primário de os editores web exprimirem preferências legíveis por máquina”. Diz também que o rascunho reflete o retorno de editores, grupos da sociedade civil e reguladores que pediram controlos à escala do setor.
É esse o enquadramento honesto. Um token voluntário respeitado por duas empresas em calendários por precisar não é fiscalização. Mas é o mecanismo que o próprio código da UE já nomeia, o que torna a adoção mais barata do que discutir o que conta como preferência legível por máquina válida.
O que observar
Três coisas. Se o rascunho passa de submissão individual a documento adotado pelo grupo de trabalho de Preferências de IA do IETF, que é o que o tornaria norma e não proposta. Se outros fornecedores aderem — a OpenAI fecha o texto a incentivá-los. E se alguma das empresas publica uma data, e não uma estação, para ligar o sinal.
