Gedeelde gesprekken van de AI-chatbot Claude duiken op in de zoekresultaten van Google, terwijl Anthropic die pagina's juist via robots.txt probeert te blokkeren. Onderzoek van Search Engine Journal laat zien wat er misging: achter die blokkade staat wel degelijk een noindex-header, maar Google krijgt die instructie nooit te zien omdat de crawler de pagina niet mag openen. Het resultaat is een schoolvoorbeeld van een fout die op veel meer websites voorkomt dan alleen bij Anthropic.
Wat er precies misging bij Claude.ai
Gebruikers van Claude kunnen gesprekken delen via een publieke link. Anthropic wilde niet dat die links vindbaar zijn in Google en koos daarvoor twee maatregelen tegelijk: een disallow-regel in robots.txt en een noindex-header op de pagina zelf.
Die combinatie werkt averechts. Doordat robots.txt het crawlen blokkeert, komt Googlebot nooit bij de noindex-instructie. Google kan de URL alsnog opnemen in de index op basis van links die elders naar die pagina verwijzen, zonder de inhoud te kunnen lezen. Het resultaat: een kale link in de zoekresultaten, soms met een generieke titel, terwijl de eigenaar dacht dat de pagina volledig onzichtbaar was.
Waarom disallow geen vervanging is voor noindex
Google zelf waarschuwt al jaren voor deze verwarring in de eigen documentatie, en toch blijft het een van de meest onderschatte fouten in technische SEO. Het verschil is simpel, de gevolgen zijn dat niet.
- Een disallow in robots.txt voorkomt dat een zoekmachine een pagina crawlt, niet dat de URL wordt geïndexeerd.
- Noindex is de instructie die indexatie daadwerkelijk tegenhoudt, maar alleen als de zoekmachine de pagina mag bezoeken om die instructie te lezen.
- Blokkeer je een pagina via robots.txt én zet je er noindex op, dan wint robots.txt: de noindex wordt genegeerd omdat hij onzichtbaar blijft.
- URL's die nergens naar linken, verschijnen sowieso zelden in de index, ook zonder noindex.
Voor een chatbotplatform met miljoenen gedeelde links is dat laatste punt geen garantie. Genoeg gesprekken worden ergens gedeeld, ingesloten of doorgestuurd, en dat is precies genoeg om Google een link te laten vinden.
Gevolgen voor gebruikers en voor je eigen website
Voor gebruikers van Claude betekent dit dat een gedeeld gesprek niet automatisch onvindbaar is, ook al staat er een noindex-header op de pagina. Wie gevoelige informatie deelt via zo'n link, moet er rekening mee houden dat die link alsnog in een zoekresultaat kan opduiken.
Voor eigenaren van websites is de les breder. Test nooit alleen of een noindex-tag aanwezig is, controleer ook of de pagina waarop die tag staat daadwerkelijk crawlbaar is. Tools als de Google Search Console laten precies zien welke pagina's geblokkeerd zijn en welke geïndexeerd, en die twee lijstjes overlappen vaker dan je zou willen.
Wil je een pagina echt uit Google houden, verwijder dan de robots.txt-blokkade voor die specifieke URL en laat de noindex-instructie het werk doen. Dat is technisch gezien de enige combinatie die betrouwbaar werkt.
Bron: Search Engine Journal