Een simpel scherm dat bezoekers moet bewijzen dat ze geen robot zijn, kan grote gevolgen hebben voor jouw vindbaarheid in Google. Search Advocate John Mueller legde uit dat zulke bot-verificatieschermen Googlebot net zo goed buitensluiten als een verdachte bezoeker, met als gevolg dat pagina's uit de index kunnen verdwijnen. Staat dezelfde inhoud ergens anders zonder die blokkade online, dan kan Google die versie als canonieke bron aanwijzen in plaats van de jouwe.
Wat bedoelde Mueller met een 'ben je een bot'-scherm
Veel websites zetten een tussenstap voor hun content, vaak via Cloudflare, een CAPTCHA of een zelfgebouwd script dat verdacht verkeer probeert te filteren. De bezoeker moet eerst bewijzen mens te zijn voordat de pagina zelf zichtbaar wordt.
Mueller wees erop dat dit soort systemen geen onderscheid maken tussen Googlebot en een kwaadaardige bot. De crawler krijgt hetzelfde scherm te zien als iedere andere geautomatiseerde bezoeker en komt dus nooit bij de eigenlijke tekst.
Waarom dit een pagina uit de index kan duwen
Google kan alleen indexeren wat het daadwerkelijk kan crawlen. Blijft een verificatiescherm hardnekkig in de weg zitten, dan ziet Googlebot bij elke poging lege of nietszeggende inhoud in plaats van de echte pagina.
Op termijn interpreteert Google dat als een pagina zonder waarde, vergelijkbaar met een soft 404. De pagina verdwijnt dan geleidelijk uit de zoekresultaten, ook al staat de content er voor menselijke bezoekers gewoon nog.
Canonicalisatie: een andere site pikt de credit
Het venijn zit in de tweede helft van Muellers uitleg. Is dezelfde tekst ook elders te vinden, bijvoorbeeld via een scraper, een syndicatiepartner of een kopie zonder verificatiescherm, dan kan Google die toegankelijke versie als canoniek aanwijzen.
Jouw eigen pagina, het origineel, valt dan buiten de boot. Dat is precies het scenario dat veel sitebeheerders over het hoofd zien: niet alleen indexering staat op het spel, maar ook wie in Google's ogen de rechtmatige bron van de content is.
Wat kun je als sitebeheerder controleren
Het probleem is meestal onopgemerkt, omdat menselijke bezoekers het scherm vaak niet eens zien of het probleemloos doorlopen. Een crawler zoals Googlebot herkent zich echter niet als mens en loopt vast.
- Controleer via de URL-inspectietool in Search Console wat Googlebot daadwerkelijk te zien krijgt op belangrijke pagina's
- Sluit bekende Googlebot user-agents of IP-ranges uit van agressieve bot-checks, of vervang die door minder ingrijpende bescherming
- Houd indexeringsstatus en canonieke keuzes in Search Console periodiek in de gaten, vooral na wijzigingen aan je beveiliging
- Wees terughoudend met WAF- of anti-botinstellingen op precies de pagina's die je wilt laten ranken
Wie recent een daling in indexering of organisch verkeer ziet zonder duidelijke oorzaak, doet er goed aan eerst te checken of een bot-verificatiescherm de boosdoener is. Het is een technische instelling die makkelijk over het hoofd wordt gezien, maar met directe gevolgen voor zichtbaarheid in Google.
Bron: Search Engine Journal