Google-medewerker John Mueller stelt dat de meeste AI-crawlers die data verzamelen voor het trainen van taalmodellen geen officiële manier bieden om een sitemap aan te melden, zoals dat wel kan via Google Search Console. Uit zijn eigen serverlogs blijkt dat deze bots in plaats daarvan zelf op zoek gaan naar standaard bestandslocaties, zoals sitemap.xml of een RSS-feed. Websitebeheerders die willen dat hun content wordt meegenomen in AI-training of AI-gegenereerde antwoorden, doen er daarom goed aan die bestanden op voorspelbare plekken te zetten.
Wat Mueller zag in zijn eigen logbestanden
Mueller baseert zijn uitspraak niet op officiële documentatie van AI-bedrijven, maar op eigen observaties uit de serverlogs van zijn persoonlijke website. Daarin zag hij crawlers van AI-bedrijven direct verzoeken doen naar paden als /sitemap.xml en /feed, zonder dat hij die locaties ooit ergens actief had aangemeld of gepubliceerd.
Dat wijst erop dat veel van deze bots vertrouwen op conventie in plaats van op een formeel indieningsproces. Ze gokken simpelweg op de meest gebruikte bestandsnamen binnen het CMS-landschap, in de hoop daar bruikbare content aan te treffen.
Voor Mueller, die als Search Advocate bij Google dagelijks vragen van webmasters beantwoordt, is dit soort praktijkobservatie vaak waardevoller dan officiële richtlijnen. AI-bedrijven zijn immers terughoudend met het delen van details over hun crawlgedrag.
Waarom sitemap-indiening anders werkt dan bij Google
Bij Google Search Console kun je een sitemap handmatig aanmelden, waarna Googlebot die actief oppikt en periodiek opnieuw bezoekt. Veel AI-crawlers, zoals bots die gegevens verzamelen voor grote taalmodellen, kennen dat mechanisme niet. Ze combineren meestal een beperkte set signalen: verwijzingen in robots.txt, links vanaf andere pagina's en de eerdergenoemde standaardpaden.
Een voorbeeld maakt het concreet. Stel dat een redactiesite een sitemap publiceert onder de naam sitemap-2024-definitief.xml en die nergens vermeldt, dan kan een AI-crawler die simpelweg nooit tegenkomen, terwijl Googlebot hem via Search Console wel keurig binnenkrijgt. Diezelfde site krijgt met een feed onder /rss of /feed vaak wel meteen bezoek van crawlers, omdat die paden in vrijwel elk CMS standaard zijn.
Daar komt bij dat niet elke AI-crawler zich netjes aan robots.txt houdt. Sommige bots negeren uitsluitingen, terwijl andere juist heel strikt zijn. Dat maakt voorspelbaarheid in bestandsstructuur nog belangrijker dan bij traditionele zoekmachines.
Praktisch advies voor websitebeheerders
Mueller's observatie is vooral een signaal om basiszaken op orde te hebben, niet om een volledig nieuwe technische oplossing te bouwen. De aanpak blijft grotendeels hetzelfde als bij traditionele zoekmachineoptimalisatie.
- Gebruik de standaardnaam sitemap.xml in plaats van een aangepaste of verborgen bestandsnaam.
- Vermeld de locatie van je sitemap altijd expliciet in robots.txt.
- Houd een actieve RSS-feed bij, zeker bij nieuwssites, blogs of andere platforms met regelmatige updates.
- Zorg dat belangrijke pagina's ook via interne links bereikbaar zijn, los van de sitemap zelf.
- Controleer periodiek je serverlogs op bekende AI-crawler user agents om te zien of ze daadwerkelijk langskomen.
Gevolgen voor zichtbaarheid in AI-zoekresultaten
Voor sites die afhankelijk zijn van zichtbaarheid in AI-gegenereerde antwoorden, bijvoorbeeld via chatbots of AI-overzichten, is dit advies met name relevant. Een onvindbare sitemap betekent in de praktijk dat nieuwe content pas laat, of helemaal niet, wordt opgepikt door AI-crawlers.
Dat risico groeit naarmate meer gebruikers hun zoekgedrag verschuiven richting AI-assistenten in plaats van klassieke zoekmachines. Een site die technisch onzichtbaar is voor deze crawlers, mist daardoor een steeds groter deel van het potentiële bereik.
Voor marketeers en sitebeheerders die nu al inzetten op zoekmachineoptimalisatie betekent dit geen compleet nieuwe strategie, maar wel een extra controlepunt. Technische SEO-basis, zoals een kloppende sitemap en een werkende feed, telt dus niet alleen voor Google, maar ook voor de groeiende groep AI-crawlers die anders te werk gaat.
Bron: Search Engine Journal