Een XML-sitemap is een bestand dat alle belangrijke URL's van je website opsomt, zodat zoekmachines ze snel en volledig kunnen vinden en indexeren. De robots.txt is de tegenhanger: die geeft aan welke delen crawlers wel en niet mogen bezoeken.
Samen sturen ze hoe Google je site verkent. De sitemap wijst de weg naar je waardevolle pagina's, robots.txt houdt crawlers weg bij onbelangrijke of dubbele URL's. Deze gids laat zien hoe je beide instelt.
Wat je in deze gids leert
Deze gids is voor iedere ondernemer die zijn site beter vindbaar wil maken en grip wil op hoe zoekmachines de pagina's van je website crawlen.
- Wat een XML-sitemap is en waarom een sitemap belangrijk is voor SEO
- Het verschil tussen een sitemap en robots.txt, en hoe ze samenwerken
- Hoe je automatisch een sitemap maakt via je CMS of een sitemap generator
- Hoe je robots.txt instelt met Allow, Disallow en een verwijzing naar je sitemap
- Hoe je je sitemap indient in Google Search Console
Een goede sitemap en robots.txt zijn onderdeel van online vindbaar worden met je website. Deze gids zoomt in op deze twee bestanden.
Wat is een XML-sitemap?
Een XML-sitemap is een bestand, meestal sitemap.xml, met een lijst van alle URL's die je geïndexeerd wilt hebben. Zoekmachines zoals Google lezen dat bestand en weten zo welke pagina's op je website bestaan en de moeite waard zijn.
Het XML-formaat is opgebouwd volgens een vast protocol. Per URL staat er minimaal een <loc>-regel met het adres, en optioneel wanneer de pagina voor het laatst is gewijzigd.
Waarom is een sitemap belangrijk? Zonder sitemap ontdekt Google je pagina's alleen door interne links te volgen. Nieuwe websites, grote sites en pagina's die diep in de structuur van je website zitten, worden dan makkelijk over het hoofd gezien bij het crawlen.
Het belang van sitemaps voor SEO zit in dat crawlbudget: hoe sneller zoekmachines je URL's ontdekken, hoe eerder ze in de index van Google belanden. Een sitemap is dus goed voor SEO, ook al garandeert hij geen hoge positie.
Er zijn twee soorten sitemaps. De XML-sitemap is voor zoekmachines. Een HTML sitemap is een webpagina voor bezoekers, met een overzicht van je belangrijkste pagina's. Voor de HTML-variant gebruik je in WordPress een plugin zoals Simple Sitemap of WP Sitemap Page, maar voor SEO draait het om de XML-sitemap.
Niet elke website heeft dezelfde sitemap nodig. Een kleine site komt vaak toe met één bestand, terwijl een webshop of nieuwssite baat heeft bij het opsplitsen in meerdere sitemaps per onderdeel.
Let op het onderscheid met een crawler: die zoekt en leest je pagina's, terwijl de sitemap enkel de kaart is die aangeeft waar alles staat.
Sitemap en robots.txt: het verschil
De sitemap zegt waar je pagina's staan, robots.txt zegt waar crawlers wel en niet mogen komen. Het zijn twee kanten van dezelfde medaille.
De robots.txt is een tekstbestand in de hoofdmap van je site, op jouwdomein.nl/robots.txt. Crawlers lezen dat bestand als eerste, voordat ze de rest van je site bezoeken.
Met een Disallow-regel sluit je delen af die niet in de zoekresultaten horen, zoals een winkelmandje, inlogpagina's of interne zoekresultaten. Met Allow maak je binnen een geblokkeerd pad juist een uitzondering.
Belangrijk: robots.txt regelt het crawlen, niet het indexeren. Blokkeer je een pagina, dan kan Google de inhoud niet lezen, maar de URL kan alsnog in de zoekresultaten opduiken. Wil je een pagina echt uit de index houden, gebruik dan een noindex-tag en blokkeer hem juist niet.
Hoe maak je een XML-sitemap?
In de meeste gevallen maak je geen sitemap met de hand, maar laat je een tool of plugin dat automatisch doen. Automatisch een sitemap maken scheelt werk en houdt jouw sitemap actueel.
Heb je een WordPress website, dan regelt een SEO-plugin het voor je. Yoast SEO genereert automatisch een sitemap en werkt die bij zodra je content publiceert. Ook andere WordPress-plugins zoals Rank Math en de ingebouwde WordPress-sitemap doen dit.
Werk je met Shopify, Wix of Squarespace, dan hebben die platformen standaard een XML-sitemap ingebouwd. Je hoeft alleen het adres op te zoeken, meestal /sitemap.xml.
Heb je geen CMS of een maatwerksite, dan gebruik je een XML sitemap generator. Zo'n sitemap tool, zoals xml-sitemaps.com, crawlt je site en levert een kant-en-klaar bestand op dat je uploadt naar je server. Ook zonder plugins kun je zo een sitemap genereren.
Neem alleen pagina's op die je echt geïndexeerd wilt hebben. Laat noindex-pagina's, dubbele URL's en bedanktpagina's eruit. Een schone sitemap met sterke, unieke content werkt beter dan een lijst met alles.
Eén sitemap mag maximaal 50.000 URL's of 50 MB bevatten. Zit je daarboven, dan werk je met meerdere sitemaps en bundel je die in een sitemap-indexbestand, zo beschrijft Google Search Central.
Robots.txt instellen
Een basale robots.txt bestaat uit een paar regels en verwijst naar je sitemap. Zo weet elke zoekmachine waar je bestand staat, ook zonder Search Console.
Een eenvoudig voorbeeld ziet er zo uit:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://jouwdomein.nl/sitemap.xml
De regel User-agent: * geldt voor alle crawlers. Daaronder blokkeer je met Disallow de mappen die niet openbaar hoeven, en met Allow maak je gerichte uitzonderingen.
De laatste regel is de belangrijkste voor de vindbaarheid: de Sitemap-regel met het volledige adres van je XML-sitemap. Je mag meerdere sitemapregels opnemen als je meerdere sitemaps hebt.
Wees voorzichtig met blokkeren. Sluit je per ongeluk je CSS, JavaScript of een belangrijke categorie af, dan kan Google je pagina's niet goed weergeven of vinden. Controleer je robots.txt goed voordat je hem live zet, zo waarschuwt ook Google in de uitleg over robots.txt.
Sitemap indienen in Search Console
Dien je sitemap in via Google Search Console, zodat Google precies weet waar je bestand staat en je fouten terugkoppelt. Dit is de laatste stap nadat je je XML-sitemap hebt gemaakt.
Log in op Google Search Console en kies je website. Ga naar het onderdeel Sitemaps, vul het pad van je sitemap in, meestal sitemap.xml, en klik op verzenden.
Google leest daarna je sitemap uit en toont hoeveel URL's zijn gevonden en of er problemen zijn. Verschijnt de status Geslaagd, dan is je sitemap correct verwerkt en verschijnen je pagina's op termijn in de zoekresultaten.
Werk je met Bing, dan doe je hetzelfde in Bing Webmaster Tools. De verwijzing in robots.txt zorgt dat andere zoekmachines je sitemap ook zonder handmatig indienen vinden. Het indienen van je sitemap versnelt vooral het indexeren van nieuwe content.
Houd je sitemap actueel. Voeg je nieuwe pagina's toe, dan verschijnen die vanzelf in een automatisch gegenereerde sitemap. Wil je je sitemap aanpassen of pagina's uitsluiten, dan doe je dat in de instellingen van je plugin en niet met de hand.
Een correct ingediende en up-to-date sitemap bij zoekmachines maakt je website beter vindbaar, zeker als je regelmatig nieuwe content publiceert. Controleer af en toe in Search Console of alles nog klopt.
Veelgemaakte fouten
Rond sitemaps en robots.txt gaat het vaak op dezelfde punten mis:
- Een pagina blokkeren in robots.txt terwijl je hem met een noindex-tag uit de index wilde houden; Google ziet die tag dan nooit
- Per ongeluk je hele site blokkeren met
Disallow: /, waardoor niets meer wordt gecrawld - Belangrijke pagina's, CSS of JavaScript afsluiten, zodat Google je site niet goed kan lezen
- Noindex-pagina's, redirects of dubbele URL's toch in je sitemap zetten
- Vergeten de Sitemap-regel in robots.txt op te nemen of de sitemap in te dienen
- Een oude, handmatige sitemap laten staan die niet meeloopt met nieuwe content
De meeste fouten voorkom je door je sitemap automatisch te laten genereren en je robots.txt te controleren met de tools in Google Search Console.
Waar begin je?
Begin met controleren of je al een sitemap hebt. Typ je domein met /sitemap.xml erachter in je browser. Zie je een lijst met URL's, dan ben je goed op weg.
Heb je nog geen sitemap, zet dan een SEO-plugin aan of gebruik een sitemap generator. Voeg daarna de Sitemap-regel toe aan je robots.txt en dien de sitemap in via Search Console.
Kijk daarna verder dan deze twee bestanden. Een snelle, goed opgebouwde site scoort beter, dus let ook op je Core Web Vitals en de bredere optimalisatie van je website. Wil je pagina's als rich results tonen, verdiep je dan in gestructureerde data.
Veelgestelde vragen
Hoe maak ik een sitemap?
In de meeste gevallen maak je geen XML-sitemap met de hand. Werk je met WordPress en een SEO-plugin zoals Yoast SEO, dan wordt de sitemap automatisch gegenereerd en bijgewerkt. Heb je geen CMS, dan gebruik je een sitemap generator die je site crawlt en het XML-bestand voor je maakt. Daarna verwijs je ernaar in je robots.txt en dien je hem in via Google Search Console.
Is een sitemap verplicht?
Nee, een sitemap is niet verplicht. Google kan een kleine, goed gelinkte website ook zonder sitemap vinden. Toch is een XML-sitemap sterk aan te raden bij grotere sites, nieuwe websites met weinig backlinks of pagina's die diep in de structuur van je website zitten. De sitemap helpt zoekmachines je URL's sneller en vollediger te ontdekken.
Wat is het verschil tussen een XML-sitemap en een HTML-sitemap?
Een XML-sitemap is een bestand voor zoekmachines: het somt je URL's op zodat crawlers je pagina's kunnen vinden. Een HTML sitemap is een gewone webpagina voor bezoekers, met links naar de belangrijkste onderdelen van je site. Voor SEO gaat het om de XML-sitemap; een HTML sitemap is vooral een hulpmiddel voor navigatie.
Moet ik een sitemap indienen bij zoekmachines?
Het indienen van je sitemap is niet strikt nodig, maar wel verstandig. Via Google Search Console dien je de URL van je sitemap in, waarna Google weet waar je bestand staat en fouten terugkoppelt. Ook een verwijzing in je robots.txt helpt zoekmachines zoals Google je sitemap te vinden.
Hoe weet Google waar mijn XML-sitemap staat?
Op twee manieren. Je kunt de sitemap indienen in Google Search Console, en je kunt een Sitemap-regel toevoegen aan je robots.txt met het volledige adres van je sitemap. Doe je allebei, dan is de kans het grootst dat zoekmachines je sitemap snel oppikken.
Kernpunten
- Een XML-sitemap somt je belangrijke URL's op zodat zoekmachines ze sneller vinden en indexeren
- Robots.txt regelt het crawlen; de sitemap wijst de weg, samen sturen ze hoe Google je site verkent
- Je maakt een sitemap meestal automatisch via je CMS, een plugin zoals Yoast SEO of een sitemap generator
- Voeg een Sitemap-regel toe aan je robots.txt en dien de sitemap in via Google Search Console
- Blokkeren in robots.txt houdt een pagina niet uit de index; gebruik daarvoor een noindex-tag
Een sitemap en robots.txt lijken technisch, maar draaien om één idee: zoekmachines helpen de juiste pagina's te vinden en de rest met rust te laten. Laat je sitemap automatisch genereren, verwijs ernaar in robots.txt en dien hem in.
Zit je met een vraag over je sitemap of je SEO-aanpak, stel die dan op het ondernemen-forum van CreativeDeals.