Wat doet deze robots.txt-generator?
Met deze tool stel je in enkele klikken een robots.txt samen. Kies of je alles wilt toestaan, alles wilt blokkeren, of specifieke paden wilt uitsluiten van crawlen.
Voeg optioneel een sitemap-URL en een crawl-delay toe, en kopieer direct de kant-en-klare tekst naar je eigen bestand.
Waarom een robots.txt gebruiken?
Met robots.txt stuur je hoe zoekmachines je website crawlen. Zo houd je bijvoorbeeld een inlogpagina of winkelwagen buiten de crawl, zonder dat je iets aan de pagina zelf hoeft te wijzigen.
Let op: dit is geen beveiliging. Gebruik het alleen om crawlgedrag te sturen, niet om gevoelige informatie af te schermen.
Crawlen versus indexeren
Crawlen en indexeren zijn niet hetzelfde. Robots.txt bepaalt of een zoekmachine een pagina mag bezoeken; of die pagina daarna in de zoekresultaten verschijnt, is een aparte keuze die je met een noindex-tag regelt.
Wil je juist checken hoe je pagina in de zoekresultaten oogt? Bekijk dan de SERP snippet preview. En voor gestructureerde data op je pagina's gebruik je de schema-generator.