Een 'ben je een bot'-verificatiescherm voor je website kan ervoor zorgen dat Google je pagina's laat vallen. Dat zegt Google's Search Advocate John Mueller: als Googlebot zo'n scherm niet kan passeren, ziet de zoekmachine geen inhoud meer om te indexeren en kan een andere site met dezelfde tekst als canonical worden aangewezen.
Wat Mueller precies zegt over botschermen
Mueller legde uit dat verificatieschermen, zoals Cloudflare-controles, CAPTCHA-muren of een 'even geduld'-interstitial, niet automatisch onderscheid maken tussen kwaadwillend verkeer en legitieme crawlers.
Wordt Googlebot tegengehouden, dan krijgt Google simpelweg geen toegang tot de daadwerkelijke pagina-inhoud. Voor de zoekmachine ziet dat er niet anders uit dan een lege of ontoegankelijke pagina.
Waarom canonicalisatie dan misgaat
Google kiest per stuk unieke inhoud één canonieke versie om te tonen in de zoekresultaten. Kan Googlebot jouw versie niet crawlen, dan valt die kandidaat af.
Staat dezelfde of vergelijkbare tekst ook op een andere, wel toegankelijke site, bijvoorbeeld via syndicatie of een kopie, dan is de kans groot dat Google die site als canonical aanwijst. Jouw eigen pagina verdwijnt vervolgens uit de index, ook al was de inhoud oorspronkelijk van jou.
Dat raakt vooral sites die agressieve botbeveiliging inzetten zonder uitzonderingen voor bekende zoekmachinecrawlers.
Zo voorkom je dat jouw pagina's verdwijnen
De oplossing zit niet in het uitschakelen van botbeveiliging, maar in het slimmer instellen ervan. Googlebot moet ongehinderd toegang houden tot pagina's die je wilt laten ranken.
- Controleer in Google Search Console via de URL-inspectietool of Googlebot je pagina's daadwerkelijk kan renderen.
- Zet Googlebot en andere bekende zoekmachinecrawlers op een uitzonderingslijst bij je WAF of CDN, bijvoorbeeld Cloudflare.
- Vermijd interstitials of verificatieschermen op pagina's die je in Google wilt laten verschijnen.
- Monitor serverlogs om te zien of crawlbezoeken worden geweigerd of omgeleid naar een verificatiepagina.
- Test wijzigingen in beveiligingsinstellingen altijd na, want een kleine configuratiefout is genoeg om een pagina uit de index te laten vallen.
Beheer je een site met gevoelige of veelgekopieerde content, dan is dit een goed moment om je botbeveiliging tegen het licht te houden voordat Google dat voor je doet.
Bron: Search Engine Journal