Robots.txt bepaalt alleen of een zoekmachine of bot jouw pagina's mag crawlen. Het bestand zegt niets over wat er later met die content gebeurt, ook niet als die wordt gebruikt om AI-modellen te trainen. Dat benadrukt Googles Gary Illyes in een nieuwe video over het protocol.
Crawlen is niet hetzelfde als gebruiken
Veel sitebeheerders gaan ervan uit dat een regel in robots.txt automatisch betekent dat hun content niet gebruikt wordt voor AI-training. Illyes maakt in de video duidelijk dat dit een misvatting is.
Robots.txt is ontworpen als een crawlinstructie, niet als een gebruiksvoorwaarde. Een bot die toegang krijgt om een pagina te crawlen, kan die data vervolgens voor allerlei doeleinden inzetten, tenzij elders specifieke afspraken of regels dat beperken.
Percent-encoding voor niet-Engelse paden
Naast de uitleg over crawling versus gebruik geeft Google nog een praktische tip. Websites met URL-paden in een niet-Engelse taal, denk aan Cyrillisch, Arabisch of Chinees, kunnen problemen krijgen als die paden niet correct worden gecodeerd in robots.txt.
Google adviseert daarom om deze paden percent-encoded op te nemen. Dat voorkomt dat crawlers de instructies verkeerd interpreteren doordat robots.txt standaard uitgaat van ASCII-tekens.
- Controleer of jouw robots.txt niet-Latijnse tekens bevat in de disallow- of allow-regels.
- Zet deze paden om naar percent-encoded notatie voordat je ze publiceert.
- Test de werking met Google Search Console of een vergelijkbare tool.
Wat dit betekent voor SEO en AI-strategie
Voor SEO-specialisten verandert er in de praktijk weinig: robots.txt blijft het instrument om crawlbudget te sturen en ongewenste secties af te schermen voor zoekmachines.
Wie echt wil voorkomen dat content voor AI-training wordt gebruikt, moet kijken naar aanvullende maatregelen, zoals specifieke regels voor AI-crawlers of juridische afspraken, en niet blind vertrouwen op een robots.txt-bestand dat daarvoor nooit is ontworpen.
Bron: Search Engine Journal