En rad i stället för en lista
OpenAI och Google meddelade båda den 30 oktober att de kommer att respektera en gemensam token i robots.txt genom vilken en webbplats kan ange om innehållet får användas för att träna generativ AI. Hittills har en webbplatsägare behövt namnge varje robot och hålla en separat regel för varje leverantör. OpenAI:s inlägg beskriver problemet rakt på sak: ägare “identifierade enskilda robotar och underhöll separata regler för varenda leverantör”, och en gemensam signal “minskar det arbetet”.
Token heter __usage_ai-training. Den definieras i ett enskilt Internet-Draft hos IETF, inlämnat den 30 oktober av Kevin Kelley på Anthropic, och används som gruppnyckel för User-Agent i en vanlig robots.txt-grupp. Det betyder att den ärver de sökvägsregler en utgivare redan kan skriva, och kan tillämpas på en katalog i stället för hela webbplatsen.
Datumen går inte ihop
Ingen av företagen har infört den. OpenAI säger sig ha som mål att göra det “under de kommande månaderna” och att publicera ytterligare en uppdatering med detaljer när det sker. Google säger att man siktar på att stödja kontrollen “tillsammans med andra AI-leverantörer under 2027”.
Utkastet båda pekar på är ett -00-inlägg från en enskild person. IETF:s register anger att avsikten är Standards Track men noterar att ett enskilt utkast saknar formell ställning i standardiseringsprocessen och inte är godkänt av IETF. Det löper ut den 3 maj 2027. Med de publicerade tidsplanerna kan dokumentet som definierar token upphöra att gälla innan det större av de två företagen börjar respektera den. Det är normalt för IETF-utkast, som rutinmässigt lämnas in på nytt, men det förtjänar att sägas rakt ut: den som lägger in raden i dag skriver mot ett dokument med utgångsdatum och två löften om införande, inte mot en standard.
Vad den inte gör
Båda företagen är tydliga med att den nya signalen läggs ovanpå de gamla kontrollerna i stället för att ersätta dem. OpenAI säger att de befintliga robotkontrollerna “kommer att fortsätta gälla och respekteras”. Google säger att företagsspecifika kontroller fortsätter fungera vid sidan av den gemensamma signalen.
Google lägger till den tolkning som betyder mest för den som redan sköter en robots.txt-fil. Om en webbplats använder token för att välja bort träning och inte uttryckligen nämner Google-Extended tänker Google läsa det som om utgivaren hade förbjudit Google-Extended, den kontroll bolaget erbjudit sedan 2023. Webbplatser som uttryckligen tillåter Google-Extended kan fortfarande visas i svar i Gemini Apps och få klick via grounding. Den breda signalen och kontrollen per företag är alltså fortfarande åtskilda, och den som vill blockera träning men tillåta grounding måste skriva båda raderna.
Inget av meddelandena säger något om innehåll som redan samlats in. En ändring i robots.txt är framåtsyftande av konstruktion; den når inte dataset som redan finns eller modeller som redan tränats.
Varför nu
Google kopplar förslaget direkt till regleringen och skriver att det “stämmer överens med EU:s uppförandekod för leverantörer av AI-modeller för allmänna ändamål under AI-förordningen, som erkänner robots.txt som en primär metod för webbutgivare att uttrycka maskinläsbara preferenser”. Bolaget säger också att utkastet återspeglar synpunkter från utgivare, civilsamhällesgrupper och tillsynsmyndigheter som har efterfrågat branschövergripande kontroller.
Det är den ärliga inramningen. En frivillig token som två företag respekterar enligt ospecificerade tidsplaner är inte tillsyn. Men det är den mekanism som EU:s egen uppförandekod redan namnger, vilket gör det billigare att införa den än att tvista om vad som räknas som en giltig maskinläsbar preferens.
Vad man ska följa
Tre saker. Om utkastet går från enskilt inlägg till antaget dokument i IETF:s arbetsgrupp för AI-preferenser, vilket är det som skulle göra det till en standard i stället för ett förslag. Om fler leverantörer följer efter — OpenAI avslutar sitt inlägg med att uppmana till det. Och om något av företagen publicerar ett datum, i stället för en årstid, för att slå på signalen.
