Google-woordvoerder John Mueller waarschuwt dat CMS-platforms soms automatisch willekeurige URL's toevoegen aan de HTML-broncode van een pagina. Websitebeheerders hebben dat vaak niet door, terwijl Googlebot deze links wel degelijk oppikt en kan crawlen. Het gevolg: verspild crawlbudget en een risico op dunne of dubbele content in de index.
Hoe komen die URL's in de HTML terecht?
De links ontstaan meestal niet bewust. Plugins, widgets en thema's genereren ze automatisch, bijvoorbeeld voor gepagineerde reacties, filteropties, archieven per tag of datum, en social share-knoppen met trackingparameters.
Ook sessie-ID's die aan een URL worden geplakt vallen in deze categorie. Voor de bezoeker zijn deze links vaak onzichtbaar, maar in de broncode staan ze gewoon klaar om gevolgd te worden.
Waarom dit crawlbudget en indexatie raakt
Googlebot werkt met een beperkt crawlbudget per website. Elke URL die zonder toegevoegde waarde wordt gecrawld, gaat ten koste van tijd die besteed had kunnen worden aan pagina's die er wel toe doen.
- Belangrijke productpagina's of artikelen worden minder snel of minder vaak gecrawld
- Dunne of vrijwel identieke pagina's belanden alsnog in de index
- Duplicate content kan de signalen voor de 'echte' pagina verwateren
- Nieuwe content wordt trager opgepikt omdat crawlcapaciteit elders wordt verbruikt
Voor kleinere websites is dit effect vaak beperkt, maar bij grotere sites met veel dynamische onderdelen kan het aardig oplopen.
Wat Mueller adviseert aan sitebeheerders
Volgens Mueller ligt de oplossing vooral bij de techniek achter het CMS, niet bij handmatig ingrijpen op elke afzonderlijke URL. Controleer welke plugins en thema-onderdelen automatisch links genereren en schakel overbodige functies uit.
Waar dat niet kan, raadt hij aan om canonical tags te gebruiken voor duplicaten, url-parameters uit te sluiten via robots.txt of Search Console, en een noindex toe te passen op pagina's zonder zoekwaarde. Dat voorkomt dat Google tijd en aandacht besteedt aan content die nooit voor organisch verkeer bedoeld was.
Wat betekent dit voor jouw website?
Een periodieke check van je broncode en crawlstatistieken in Google Search Console is geen overbodige luxe. Onverwachte pieken in geïndexeerde URL's zijn vaak het eerste signaal dat een plugin of thema-update ongewenste links toevoegt.
Neem dit soort technische SEO-hygiëne serieus, zeker bij grotere of snelgroeiende websites. Het is een van de minder zichtbare, maar wel invloedrijke factoren die bepalen hoe efficiënt Google jouw site doorzoekt.
Bron: Search Engine Journal