Wat doet deze robots.txt-generator?
Met deze tool stel je in enkele klikken een robots.txt samen. Kies of je alles wilt toestaan, alles wilt blokkeren, of specifieke paden wilt uitsluiten van crawlen.
Voeg optioneel een sitemap-URL en een crawl-delay toe, en kopieer direct de kant-en-klare tekst naar je eigen bestand.
Waarom een robots.txt gebruiken?
Met robots.txt stuur je hoe zoekmachines je website crawlen. Zo houd je bijvoorbeeld een inlogpagina of winkelwagen buiten de crawl, zonder dat je iets aan de pagina zelf hoeft te wijzigen.
Let op: dit is geen beveiliging. Gebruik het alleen om crawlgedrag te sturen, niet om gevoelige informatie af te schermen.
Crawlen versus indexeren
Crawlen en indexeren zijn niet hetzelfde. Robots.txt bepaalt of een zoekmachine een pagina mag bezoeken; of die pagina daarna in de zoekresultaten verschijnt, is een aparte keuze die je met een noindex-tag regelt.
Wil je juist checken hoe je pagina in de zoekresultaten oogt? Bekijk dan de SERP snippet preview. En voor gestructureerde data op je pagina's gebruik je de schema-generator.
Zo gebruik je de tool
Kies eerst je basisregel: alles toestaan, alles blokkeren, of specifieke paden uitsluiten. Voeg daarna optioneel de paden toe die je buiten de crawl wilt houden, zoals een inlogpagina of winkelwagen.
Vul eventueel je sitemap-URL en een crawl-delay in, kopieer de gegenereerde tekst en sla die op als robots.txt in de hoofdmap van je domein. Controleer daarna in Search Console of je belangrijke pagina's niet per ongeluk geblokkeerd zijn.