Een schermpje dat bezoekers vraagt te bevestigen dat ze geen bot zijn, lijkt onschuldig, maar kan je zoekresultaten flink schaden. Google-woordvoerder John Mueller legde uit dat dit soort verificatieschermen ook Googlebot buitensluiten, waardoor pagina's uit de index verdwijnen en Google een andere, wel bereikbare pagina als canonieke versie aanwijst.
Wat is het probleem met verificatieschermen?
Tools zoals Cloudflare Turnstile, hCaptcha en JavaScript-uitdagingen worden ingezet om geautomatiseerd misbruik te stoppen. Ze checken of een bezoeker zich gedraagt als een mens, voordat de eigenlijke pagina wordt geladen.
Het probleem is dat Googlebot zich, puur technisch gezien, ook als een geautomatiseerde bezoeker gedraagt. Een systeem dat verkeer filtert op basis van scriptgedrag kan geen onderscheid maken tussen een schadelijke bot en de crawler die je site juist zichtbaar moet maken in zoekresultaten.
Waarom kiest Google dan een andere pagina als canoniek?
Google bepaalt de canonieke versie van content door te vergelijken welke URL het meest betrouwbaar en consistent toegankelijk is. Als jouw pagina bij elk crawlbezoek een verificatiescherm toont in plaats van de echte inhoud, ziet Google in feite geen content om te indexeren.
Vindt Google elders, bijvoorbeeld bij een aggregator, syndicatiepartner of zelfs een scraper, wel een leesbare kopie van dezelfde tekst, dan kan die kopie als canoniek worden aangemerkt. Je verliest dan zichtbaarheid en verkeer aan een pagina die je niet in de hand hebt.
Hoe voorkom je dat je site hierdoor wordt getroffen?
Het risico zit vooral bij sites die agressieve bot-bescherming combineren met weinig fijnmazige uitzonderingsregels. Een paar concrete controles helpen om problemen vroeg te signaleren.
- Test je belangrijkste pagina's met de URL-inspectietool in Google Search Console en vergelijk de weergegeven HTML met wat een gewone bezoeker ziet.
- Controleer serverlogs op crawlbezoeken van Googlebot die resulteren in een verificatie- of foutpagina in plaats van een 200-status met echte content.
- Herken legitieme crawlers op basis van IP-reeksen en reverse DNS-verificatie, niet alleen op de user agent, die eenvoudig te vervalsen is.
- Zonder uitzonderingsregels voor bevestigde zoekmachinebots als je een CDN- of firewalloplossing met botdetectie gebruikt.
Wie regelmatig crawlfouten of onverklaarbare indexatiedalingen ziet, doet er goed aan eerst te checken of een beveiligingslaag de boosdoener is, voordat er naar inhoudelijke of technische SEO-oorzaken wordt gezocht.
Bron: Search Engine Journal