Veiligheid & toegang · Webontwikkeling · bijgewerkt 13 oktober 2026
AI-crawlers standaard geblokkeerd
Wat verandert
Sinds 15 september 2026 blokkeert Cloudflare voor nieuwe domeinen standaard trainings- en agentcrawlers op pagina's met advertenties; zoekcrawlers blijven toegestaan. Crawlers die zoeken en trainen combineren, zoals Googlebot en Bingbot, kunnen onder de strengste regel vallen. Trainingscrawlers waren in juni 2026 goed voor 52% van de crawlerverzoeken.
Wat het voor jou betekent
Een instelling die niemand bewust kiest, kan bepalen of een site in AI-antwoorden verschijnt en of agents binnenkomen. Bureaus die domeinen voor klanten beheren, moeten die keuze expliciet maken en vastleggen.
Eerste stap die altijd loont
Per klant een crawler- en agentbeleid vastleggen (wie mag lezen, wie niet) en robots.txt en de CDN-instellingen daarop controleren.
Schuift op als
Andere CDN's of hostingpartijen die AI-crawlers standaard blokkeren.
Wie pakt het op
Developer of hostingbeheerder
Meten
Welke AI-crawlers langskomen, wat ze lezen en hoeveel verkeer er terugkomt.
Bronnen