Google heeft zijn documentatie over het verlagen van de crawlsnelheid aangepast en voegt nu expliciete uitleg en codevoorbeelden toe over de Retry-After HTTP-header. Sitebeheerders die in een noodgeval de druk van Googlebot willen verlichten, kunnen hiermee preciezer aangeven wanneer de crawler het beste opnieuw kan langskomen.
Wat Google precies heeft aangepast
De meeste wijzigingen in de pagina zijn organisatorisch: secties zijn verplaatst en opnieuw gestructureerd. De belangrijkste inhoudelijke toevoeging zit in het onderdeel 'Urgently reduce crawler traffic', bedoeld voor noodsituaties.
Google omschrijft de wijziging zelf als een herstructurering van de sectie over noodmaatregelen, aangevuld met voorbeelden van de Retry-After header. Die header stond al beschreven in de documentatie over het tijdelijk pauzeren van een website, maar stond daar wat verstopt voor mensen die snel een crawlprobleem moeten oplossen.
Zo werkt de Retry-After header in de praktijk
Wanneer een server een 503 of 429 statuscode teruggeeft, kan daar nu ook een Retry-After header bij worden meegestuurd. Deze header volgt de RFC 9110 standaard voor HTTP-semantiek en kan op twee manieren worden ingevuld.
- Als aantal seconden vertraging, bijvoorbeeld 'Retry-After: 120' voor twee minuten wachttijd
- Als absolute datum en tijd in UTC, bijvoorbeeld een exact moment waarop onderhoud klaar is
Google voegde in de documentatie ook een voorbeeldcodefragment toe dat beide varianten laat zien, zodat ontwikkelaars de header correct kunnen implementeren zonder te hoeven gokken naar de juiste syntax.
Wat betekent dit voor jouw website
Belangrijk om te beseffen: dit is geen nieuwe manier om Googlebot te vertragen. Het onderliggende mechanisme bestond al, Google gebruikte 500, 503 en 429 responses al langer als signaal om minder te crawlen.
Wat verandert is dat Retry-After nu een expliciet, aanbevolen onderdeel is van die aanpak, direct zichtbaar op de plek waar je als sitebeheerder kijkt tijdens een crisis. Dat is relevant in situaties zoals serveroverbelasting tijdens piekmomenten, geplande migraties, of onverwachte capaciteitsproblemen bij hosting.
Voor de dagelijkse praktijk verandert er weinig als je geen acute crawlproblemen hebt. Voor wie wel eens tegen serverdruk van crawlers aanloopt, is het goed om deze header al klaar te hebben staan voordat de nood echt aan de man is.
Bron: Search Engine Roundtable