Én linje i stedet for en liste
OpenAI og Google meddelte begge den 30. oktober, at de vil respektere ét fælles symbol i robots.txt, som en hjemmeside kan bruge til at udtrykke, om dens indhold må bruges til at træne generativ AI. Indtil nu har en hjemmesideejer skullet navngive hver robot og holde en separat regel for hver udbyder. OpenAIs indlæg beskriver problemet lige ud: ejere »identificerede enkelte robotter og vedligeholdt separate regler for hver eneste udbyder«, og et fælles signal »reducerer det arbejde«.
Symbolet hedder __usage_ai-training. Det defineres i et individuelt Internet-Draft hos IETF, indleveret den 30. oktober af Kevin Kelley fra Anthropic, og bruges som gruppenøgle for User-Agent i en almindelig robots.txt-gruppe. Det arver dermed de stiregler, en udgiver allerede kan skrive, og kan gælde én mappe i stedet for hele hjemmesiden.
Datoerne hænger ikke sammen
Ingen af selskaberne har indført det. OpenAI siger, at målet er »i de kommende måneder«, og at de vil offentliggøre endnu en opdatering med detaljer, når det sker. Google siger, at målet er at understøtte kontrollen »sammen med andre AI-udbydere i 2027«.
Udkastet, begge peger på, er en individuel -00-indsendelse. IETF’s register angiver Standards Track som hensigt, men bemærker, at et individuelt udkast ikke har formel status i standardiseringsprocessen og ikke er godkendt af IETF. Det udløber den 3. maj 2027. Med de offentliggjorte tidsplaner kan dokumentet, der definerer symbolet, bortfalde, før det største af de to selskaber begynder at respektere det. Det er normalt for IETF-udkast, der rutinemæssigt genindleveres, men det fortjener at blive sagt ligeud: den, der indsætter linjen i dag, skriver mod et dokument med udløbsdato og to løfter om indførelse, ikke mod en standard.
Hvad det ikke gør
Begge selskaber er udtrykkelige om, at det nye signal lægges oven på de gamle kontroller i stedet for at erstatte dem. OpenAI siger, at de eksisterende robotkontroller »fortsat vil gælde og blive respekteret«. Google siger, at selskabsspecifikke kontroller fortsat vil virke ved siden af det fælles signal.
Google tilføjer den fortolkning, der betyder mest for den, der allerede har en robots.txt-fil. Hvis en hjemmeside bruger symbolet til at fravælge træning og ikke udtrykkeligt nævner Google-Extended, planlægger Google at læse det, som om udgiveren havde forbudt Google-Extended, den kontrol selskabet har tilbudt siden 2023. Hjemmesider, der udtrykkeligt tillader Google-Extended, er fortsat berettigede til at optræde i svar i Gemini Apps og få klik via grounding. Det brede signal og kontrollen pr. selskab er altså stadig adskilte, og den, der vil blokere træning, men tillade grounding, skal stadig skrive begge linjer.
Ingen af meddelelserne siger noget om indhold, der allerede er indsamlet. En ændring i robots.txt er fremadrettet af natur; den når ikke datasæt, der allerede findes, eller modeller, der allerede er trænet.
Hvorfor nu
Google knytter forslaget direkte til reguleringen og skriver, at det »er i overensstemmelse med EU’s adfærdskodeks for udbydere af AI-modeller til almen brug under AI-forordningen, som anerkender robots.txt som en primær metode for webudgivere til at udtrykke maskinlæsbare præferencer«. Selskabet siger også, at udkastet afspejler input fra udgivere, civilsamfundsgrupper og tilsynsmyndigheder, der har efterspurgt brancheomfattende kontroller.
Det er den ærlige ramme. Et frivilligt symbol, som to selskaber respekterer efter uspecificerede tidsplaner, er ikke håndhævelse. Men det er den mekanisme, EU’s egen kodeks allerede nævner, hvilket gør indførelsen billigere end at diskutere, hvad der tæller som en gyldig maskinlæsbar præference.
Hvad man skal følge
Tre ting. Om udkastet går fra individuel indsendelse til vedtaget dokument i IETF’s arbejdsgruppe for AI-præferencer, hvilket er det, der ville gøre det til en standard og ikke et forslag. Om andre udbydere følger efter — OpenAI slutter sit indlæg med at opfordre til det. Og om nogen af selskaberne offentliggør en dato frem for en årstid for at tænde signalet.
