Cloudflare voert vanaf 15 september nieuwe standaardinstellingen in waarmee elke website AI-crawlers kan indelen in drie categorieën: Zoeken, Agent of Training. Het addertje onder het gras is dat een blokkade van Training-verkeer per ongeluk ook Googlebot kan raken, met mogelijke gevolgen voor jouw posities in de zoekresultaten.
Drie nieuwe categorieën voor AI-crawlers
Cloudflare vervangt de oude aan/uit-knop voor AI-bots door een indeling in drie hokjes, elk met een eigen schakelaar. Zoekcrawlers indexeren content voor klassieke resultatenpagina's, agentcrawlers halen een pagina op namens een gebruiker die bijvoorbeeld met een AI-assistent werkt, en trainingscrawlers verzamelen data om taalmodellen te voeden.
Websites konden AI-bots al blokkeren via robots.txt of Cloudflare's bot management, maar dat was doorgaans alles-of-niets. Met deze update kun je per doel een andere keuze maken, wat op papier meer controle geeft.
Waarom Googlebot in de knel komt
Het probleem zit in de manier waarop Google zijn crawlinfrastructuur heeft ingericht. Google zet steeds vaker dezelfde onderliggende systemen in voor zoekindexering, AI Overviews en het trainen van Gemini-modellen.
Cloudflare herkent crawlers op basis van user-agent en gedragspatronen, en trekt daarbij niet altijd een harde grens tussen puur zoekverkeer en verkeer dat ook AI-training voedt. Sites die op 15 september de standaardinstelling overnemen om Training te weigeren, lopen daardoor het risico dat het systeem ook delen van Googlebot in die categorie plaatst.
Search Engine Journal wijst erop dat dit risico vooral speelt bij sites die bewust kiezen om AI-training te blokkeren zonder de instellingen per categorie na te lopen.
De context: Cloudflare tegenover ongecontroleerde AI-scrapingCloudflare experimenteert al langer met het beheersbaar maken van AI-verkeer. Eerder dit jaar introduceerde het bedrijf de Content Signals Policy en AI Crawl Control, twee tools waarmee sites konden aangeven of scraping voor training was toegestaan. Pay-per-crawl, waarbij AI-bedrijven per opgehaalde pagina betalen, kwam daar dit jaar bij.
Cloudflare heeft zelf eerder gepubliceerd dat AI-crawlers doorgaans duizenden pagina's ophalen voor elke bezoeker die ze via een link terugsturen naar een site, een verhouding die volgens het bedrijf ver afwijkt van klassieke zoekmachinecrawlers. Die scheve balans is precies de reden waarom uitgevers al langer aandringen op meer grip op AI-scraping.
Deze stap past in een bredere trend waarin uitgevers, nieuwssites en zoekmachines uitzoeken hoe ze moeten omgaan met AI-bedrijven die content gebruiken om modellen te trainen. Verschillende grote uitgevers hebben de afgelopen jaren rechtszaken aangespannen tegen AI-bedrijven over het scrapen van auteursrechtelijk beschermde content, en Cloudflare positioneert zichzelf steeds nadrukkelijker als de partij die deze onderhandeling namens websites voert.
Het risico op een verstoorde Google-indexering laat wel zien hoe complex die onderhandeling in de praktijk is. Zolang crawlers van zoekmachines en AI-modellen dezelfde technische basis delen, blijft fijnmazige controle lastig, ook met een indeling in drie categorieën.
Wat betekent dit voor jouw website
Zonder actie kun je zomaar (deels) uit de Google-index verdwijnen of buiten AI Overviews vallen, terwijl je dat nooit hebt bedoeld. Voor sites die leven van organisch zoekverkeer is dat geen kleinigheid.
Voor webshops en affiliatesites telt organisch zoekverkeer vaak zwaarder dan verkeer via AI-chatbots. Een verkeerd ingestelde crawlerregel raakt dan niet alleen je zichtbaarheid in Google, maar ook de omzet die daaruit voortkomt.
Vooral kleinere ondernemers en zzp'ers die Cloudflare gebruiken voor snelheid en beveiliging, en die zich nooit eerder met crawlerbeleid hebben beziggehouden, lopen het grootste risico. Zij nemen de standaardinstellingen doorgaans klakkeloos over.
Wat kun je nu doen
Controleer voor 15 september handmatig welke crawlers in welke categorie vallen binnen je Cloudflare-dashboard, onder AI Crawl Control of Bot Management. Zet Googlebot expliciet op toegestaan binnen de categorie Zoeken, ook als je Training-verkeer wilt weren.
- Log in op je Cloudflare-dashboard en zoek de instellingen voor AI-crawlers op.
- Controleer per categorie (Zoeken, Agent, Training) welke crawlers zijn toegestaan of geblokkeerd.
- Zet Googlebot en andere reguliere zoekmachinecrawlers expliciet op toegestaan.
- Houd na 15 september je Google Search Console in de gaten op crawlfouten of een daling in geïndexeerde pagina's.
Wacht niet tot na 15 september om dit te controleren. Een paar minuten in het dashboard voorkomt dagen aan gemiste zichtbaarheid en een lastig te herstellen dip in je organisch verkeer.
Bron: Search Engine Journal