Vad som ändras i dag
Cloudflares nya standardinställningar för AI-robotar börjar gälla den 15 september. På sidor som visar reklam blockeras robotar som Cloudflare klassar som AI-träning eller AI-agenter som standard, medan sökrobotar fortsatt släpps in, enligt Cloudflares besked i juli. Gulf News rapporterade att ändringen träder i kraft i dag.
De nya inställningarna gäller nya domäner som ansluts till Cloudflare och nya sajter som befintliga kunder skapar, rapporterade TechCrunch när policyn presenterades. Befintliga gratiskunder som inte hade ändrat sina inställningar för AI-robotar före tidsgränsen flyttas också över, enligt Search Engine Journal. Sajtägare kan ändra inställningarna i Cloudflares kontrollpanel.
Tre kategorier och en strängaste regel
Cloudflare delar nu in robotar efter syfte. Enligt bolagets definitioner “samlar in eller indexerar” en sökrobot innehåll för att kunna besvara frågor om det senare. En agent är “automatiserat beteende som agerar, oftast i realtid, för en persons räkning”. En träningsrobot är en som “tar ditt innehåll för att träna eller finjustera en modell”.
Svårigheten är robotar som gör mer än en av de sakerna. Cloudflare uppgav att standardinställningarna “tillämpas enligt de mest restriktiva regler som gäller” och nämnde Googlebot, Applebot och Bingbot som robotar med flera syften som blockeras hos kunder som väljer att blockera träning. Som Search Engine Journal sammanfattade det blockeras “en robot som både söker och tränar om en sajt blockerar träning”.
Search Engine Journal påpekade att Cloudflares blockering sker på nätverksnivå, så till skillnad från en instruktion i robots.txt hänger den inte på att roboten väljer att följa den. Tidningen återgav inget svar från Google.
Varför Cloudflare gör det
Policyn ska få AI-bolagen att använda separata robotar för sökning, agenter och träning och, enligt TechCrunch i juli, pressa dem att betala utgivare för innehåll. “Nu när majoriteten av trafiken på internet inte är mänsklig måste vi gå längre och agera snabbare så att ett hållbart ekosystem kan växa fram”, sade vd Matthew Prince då.
Cloudflares mål är “inte bara att blockera AI”, rapporterade Gulf News, utan att låta sajtägare skilja mellan automatiserade tjänster som hjälper människor att hitta deras innehåll och tjänster som förbrukar det.
Risken för utgivare
För en annonsfinansierad sajt som har valt att blockera träning innebär den strängaste regeln att Googles, Microsofts och Apples huvudrobotar kan stängas ute tillsammans med träningsrobotarna, vilket sätter synligheten i sökmotorer på spel. Så länge de bolagen kombinerar sökning och träning i samma robot måste utgivare på Cloudflare välja mellan att tillåta träning och att riskera söktrafiken.
Att hålla ögonen på
Trycket ligger nu på dem som driver robotar med blandade syften. Tecknen att följa är om Google, Microsoft eller Apple delar upp sökning och träning i separata robotar, och om Cloudflare redovisar hur många sajter de nya inställningarna omfattar.
