Én linje i stedet for en liste
OpenAI og Google sa begge 30. oktober at de vil respektere ett felles symbol i robots.txt, som et nettsted kan bruke til å uttrykke om innholdet skal brukes til å trene generativ KI. Til nå har en nettstedseier måttet navngi hver robot og holde en egen regel for hver leverandør. OpenAIs innlegg beskriver problemet rett fram: eiere «identifiserte enkeltroboter og vedlikeholdt egne regler for hver eneste leverandør», og et felles signal «reduserer det arbeidet».
Symbolet heter __usage_ai-training. Det defineres i et individuelt Internet-Draft hos IETF, levert 30. oktober av Kevin Kelley i Anthropic, og brukes som gruppenøkkel for User-Agent i en vanlig robots.txt-gruppe. Det arver dermed stireglene en utgiver allerede kan skrive, og kan gjelde én katalog i stedet for hele nettstedet.
Datoene henger ikke sammen
Ingen av selskapene har innført det. OpenAI sier at målet er «i løpet av de kommende månedene», og at de vil publisere en ny oppdatering med detaljer når det skjer. Google sier at målet er å støtte kontrollen «sammen med andre KI-leverandører i 2027».
Utkastet begge peker på, er en individuell -00-innsending. IETFs register oppgir Standards Track som intensjon, men merker at et individuelt utkast ikke har formell status i standardiseringsprosessen og ikke er godkjent av IETF. Det utløper 3. mai 2027. Med de publiserte tidsplanene kan dokumentet som definerer symbolet, falle bort før det største av de to selskapene begynner å respektere det. Det er vanlig for IETF-utkast, som rutinemessig leveres på nytt, men det fortjener å sies rett ut: den som legger inn linjen i dag, skriver mot et dokument med utløpsdato og to løfter om innføring, ikke mot en standard.
Hva det ikke gjør
Begge selskapene er tydelige på at det nye signalet legges oppå de gamle kontrollene og ikke erstatter dem. OpenAI sier at de eksisterende robotkontrollene «fortsatt vil gjelde og bli respektert». Google sier at selskapsspesifikke kontroller vil fortsette å virke ved siden av det felles signalet.
Google legger til den tolkningen som betyr mest for den som allerede har en robots.txt-fil. Hvis et nettsted bruker symbolet til å reservere seg mot trening og ikke uttrykkelig navngir Google-Extended, planlegger Google å lese det som om utgiveren hadde forbudt Google-Extended, kontrollen selskapet har tilbudt siden 2023. Nettsteder som uttrykkelig tillater Google-Extended, er fortsatt aktuelle i svar i Gemini Apps og kan få klikk via grounding. Det brede signalet og kontrollen per selskap er altså fortsatt atskilt, og den som vil blokkere trening, men tillate grounding, må fortsatt skrive begge linjene.
Ingen av meldingene sier noe om innhold som allerede er samlet inn. En endring i robots.txt er framoverrettet av natur; den når ikke datasett som allerede finnes, eller modeller som allerede er trent.
Hvorfor nå
Google knytter forslaget direkte til reguleringen og skriver at det «er i samsvar med EUs praksiskodeks for leverandører av KI-modeller til allmenne formål under KI-forordningen, som anerkjenner robots.txt som en primær metode for nettutgivere til å uttrykke maskinlesbare preferanser». Selskapet sier også at utkastet gjenspeiler innspill fra utgivere, sivilsamfunnsgrupper og tilsynsmyndigheter som har bedt om bransjeomfattende kontroller.
Det er den ærlige rammen. Et frivillig symbol som to selskaper respekterer etter uspesifiserte tidsplaner, er ikke håndheving. Men det er mekanismen EUs egen kodeks allerede navngir, noe som gjør innføring billigere enn å krangle om hva som teller som en gyldig maskinlesbar preferanse.
Hva man skal følge
Tre ting. Om utkastet går fra individuell innsending til vedtatt dokument i IETFs arbeidsgruppe for KI-preferanser, som er det som ville gjøre det til en standard og ikke et forslag. Om andre leverandører følger etter — OpenAI avslutter innlegget med å oppfordre til det. Og om noen av selskapene publiserer en dato, og ikke en årstid, for å slå på signalet.
