Google voert begin 2027 samen met partijen als OpenAI, Microsoft en Anthropic een universele standaard in om AI-training op jouw website te beheren. Voortaan volstaat één centrale instelling in robots.txt om meerdere AI-ontwikkelaars tegelijk de toegang tot jouw content te ontzeggen.
Deze maatregel maakt een einde aan de noodzaak om tientallen individuele webcrawlers handmatig te blokkeren. Het initiatief komt voort uit de AIPREF-werkgroep van de Internet Engineering Task Force (IETF).
Een centrale standaard via het IETF
Het beheer van AI-crawlers is momenteel een tijdrovende klus voor website-eigenaren. Wie zijn teksten wil beschermen tegen modeltraining, moet voor iedere aanbieder afzonderlijke regels toevoegen aan het robots.txt-bestand.
Binnen de werkgroep AIPREF (AI Preferences) van het IETF werken technologiebedrijven en uitgevers daarom aan een gestroomlijnde methode. Deze standaard introduceert een zogeheten policy token waarmee je in één handeling jouw voorkeuren kenbaar maakt aan alle deelnemende partijen.
Google heeft bevestigd dat het vanaf begin 2027 de machineleesbare voorkeurssignalen gaat ondersteunen via het token "user-agent: __usage_ai-training". Dit signaal werkt overkoepelend en vereist geen aparte vermeldingen meer voor afzonderlijke bots.
Het gebruik van een gezamenlijke standaard biedt directe praktische voordelen:
- Je beheert jouw intellectuele eigendom en auteursrechtelijke voorkeuren met een enkele declaratie.
- Nieuwe AI-bedrijven die zich aansluiten bij de standaard respecteren direct jouw bestaande instellingen.
- De foutgevoeligheid van complexe, ellenlange robots.txt-bestanden neemt drastisch af.
De interactie met Google-Extended en Gemini
Google Search Advocate John Mueller lichtte toe hoe de zoekgigant deze nieuwe richtlijn technisch interpreteert. Volgens Mueller fungeert het nieuwe IETF-token als een overkoepelende afwijzing wanneer er geen specifiekere instructies aanwezig zijn.
Mueller gaf aan: "Wanneer een website dit policy token gebruikt om training af te wijzen in robots.txt (en Google-Extended is niet expliciet gespecificeerd), is Google van plan dit te interpreteren alsof de uitgever Google-Extended heeft geweigerd."
Bestaande bedrijfsspecifieke instellingen blijven gewoon functioneren naast het universele signaal. Dit betekent dat je een brede blokkade kunt instellen voor de markt, maar uitzonderingen kunt maken voor specifieke platforms.
Websites die Google-Extended expliciet toestaan, behouden bovendien de mogelijkheid om geciteerd te worden in AI-antwoorden. Deze content kan dan als bronvermelding dienen binnen Gemini Apps, wat relevant blijft voor jouw organische zichtbaarheid.
Afstemming op de Europese AI Act
De stap naar een universeel signaal is niet louter een technisch experiment. Het voorstel sluit naadloos aan op de Europese Code of Practice voor General Purpose AI (GPAI) onder de EU AI Act.
Binnen deze Europese wetgeving wordt robots.txt erkend als primair hulpmiddel waarmee uitgevers hun machineleesbare voorbehoud kunnen uiten. Toezichthouders en belangenorganisaties eisten al langer eenvoudigere mechanismen om het auteursrecht van makers te beschermen.
De acceptatie door marktleiders geeft de standaard direct het benodigde gewicht. Hierdoor ontstaat een robuust technisch raamwerk dat naar verwachting internationaal breed wordt overgenomen.
Discussiepunten en zorgen vanuit makers
Hoewel de adoptie door grote techbedrijven breed wordt verwelkomd, is het IETF-traject nog niet definitief afgerond. Onafhankelijke deelnemers aan de werkgroep wijzen erop dat er achter de schermen nog discussiepunten spelen.
Nate Hake, een actieve deelnemer binnen de werkgroep, benadrukte dat deelname aan het IETF openstaat voor iedereen maar forse investeringen vergt. Hij investeerde naar eigen zeggen honderden uren en duizenden dollars aan reiskosten om de belangen van makers te vertegenwoordigen.
Hake uitte daarbij kritiek op een uitzonderingsclausule in het huidige voorstel. Die clausule zou toepassingen op direct verzoek van gebruikers kunnen vrijstellen, wat volgens hem risico's meebrengt voor auteurs en artiesten.
De komende periode zal uitwijzen hoe de IETF deze bezwaren verwerkt voordat de standaard live gaat. Voorlopig kunnen webmasters hun huidige configuraties voor Google-Extended en andere crawlers intact laten.
Bron: Search Engine Roundtable