Google heeft de officiële documentatie over de Mediapartners-Google crawler bijgewerkt. Waar de uitleg voorheen vrijwel uitsluitend over AdSense ging, maakt Google nu duidelijk dat deze bot een bredere rol speelt binnen het eigen advertentie-ecosysteem. Voor sitebeheerders die de crawler via robots.txt blokkeren of toestaan, is dat een reden om die instellingen nog eens tegen het licht te houden.
Wat de Mediapartners-Google crawler doet
De Mediapartners-Google crawler bezoekt pagina's waarop Google-advertenties worden getoond en analyseert de inhoud van die pagina's. Op basis daarvan bepaalt Google welke advertenties het beste aansluiten bij de context van de content.
De bot is al jaren onderdeel van de officiële lijst met Google-crawlers en herkenbaar aan de user-agent naam Mediapartners-Google. Sitebeheerders konden deze crawler altijd al los van de reguliere Googlebot beheren via robots.txt.
Waarom Google de uitleg nu verbreedt
In de oudere documentatie werd de crawler vrijwel steeds in één adem genoemd met AdSense, alsof beide onlosmakelijk met elkaar verbonden zijn. De vernieuwde tekst plaatst de bot nadrukkelijker in de bredere context van Google's advertentieproducten in plaats van als uitsluitend AdSense-instrument.
Dat is een logische stap. Advertentietechnologie bij Google bestaat allang niet meer uit AdSense alleen, en documentatie die daar nog wel vanuit gaat, geeft sitebeheerders een onvolledig beeld van wat blokkeren of toestaan van de crawler daadwerkelijk betekent.
Gevolgen voor robots.txt en sitebeheer
Voor de meeste sites verandert er praktisch weinig, maar de update is een goed moment om je crawlerinstellingen te controleren. Denk aan het volgende:
- Controleer of Mediapartners-Google expliciet wordt geblokkeerd in robots.txt, en of dat nog de bedoeling is.
- Ga na welke advertentieproducten je daadwerkelijk gebruikt naast eventuele AdSense-implementaties.
- Test wijzigingen aan robots.txt altijd met de robots.txt-tester voordat je ze live zet.
- Houd er rekening mee dat het blokkeren van deze crawler de advertentierelevantie kan beïnvloeden, ook buiten AdSense om.
Wie de crawler nooit bewust heeft ingesteld, hoeft in de meeste gevallen niets te doen. Wie ooit gerichte uitzonderingen heeft gemaakt met alleen AdSense in het achterhoofd, doet er goed aan die regels opnieuw te beoordelen nu de scope van de documentatie is verbreed.
Bron: Search Engine Journal