Eén verkeerd gezette schakelaar in Cloudflare kan genoeg zijn om je site uit Google te laten verdwijnen. Beveiligingsfuncties die AI-bots en agressieve scrapers moeten tegenhouden, blokkeren in de praktijk regelmatig ook Googlebot, met rankingverlies, wegvallende advertenties en verdwenen productvermeldingen tot gevolg.
SEO-specialisten melden de laatste tijd steeds vaker dat klanten hierdoor weken aan omzet mislopen, terwijl niemand in eerste instantie doorheeft dat de oorzaak bij de content delivery network-instellingen ligt.
Twee weken omzetverlies door één verkeerde toggle
SEO-consultant Jonathan Bird beschreef recent op LinkedIn hoe hij het verkeer van een klant moest redden nadat de externe IT-beheerder van die klant Cloudflare's 'Crawl Control' had geactiveerd om bots te weren.
De instelling blokkeerde daarmee ook Googlebot volledig. Het gevolg: Google Ads bleef budget verbruiken zonder resultaat, alle Merchant Center-listings verdwenen en de organische zoekresultaten stortten in. Volgens Bird lag het bedrijf twee weken lang stil voordat het herstel zichtbaar werd.
Ook een grote marketplace liep averij op
Consultant Brodie Clark deelde een vergelijkbaar, maar net iets ander geval. Bij een online marktplaats zorgde extreme botdruk voor serverproblemen, waarna het technische team op firewallniveau strenge toegangsbeperkingen instelde.
Die maatregel hield de site online, maar sloot tegelijk zoekmachines buiten. Clark benadrukte dat de resulterende zichtbaarheidsdaling er in de rapportages uitzag als een core update, terwijl de oorzaak volledig zelf veroorzaakt was.
Waarom dit steeds vaker misgaat
De opkomst van AI-crawlers heeft botbeheer complexer gemaakt. Steeds meer sites zetten uit voorzorg brede blokkades in tegen scrapers die voor AI-training data verzamelen.
Het probleem zit hem niet in de intentie, maar in de uitvoering. IT-partijen en hostingproviders configureren dit soort regels vaak zonder besef van de SEO-impact, en Cloudflare kent tientallen instellingen die elkaar kunnen overlappen of tegenspreken.
Zo voorkom je dat je eigen site onzichtbaar wordt
De kern van het probleem is simpel: niemand test na een wijziging of Googlebot nog steeds welkom is. Een paar controles voorkomen veel ellende.
- Controleer na elke wijziging in Cloudflare of Googlebot je site nog kan crawlen via de URL-inspectietool in Search Console.
- Zet 'Crawl Control' en vergelijkbare bot-blokkades nooit aan zonder uitzonderingen voor bekende zoekmachine- en advertentiebots.
- Houd Search Console en Google Ads wekelijks in de gaten op onverwachte dalingen in crawlactiviteit of vertoningen.
- Laat firewall- en botregels altijd meekijken door iemand met SEO-kennis voordat ze live gaan.
- Documenteer wie welke wijzigingen in Cloudflare doorvoert, zodat de oorzaak snel te achterhalen is als het verkeer instort.
Bron: Search Engine Roundtable