AI-bedrijven vervalsen steeds vaker de identiteit van Googlebot om trainingsdata van websites te verzamelen. Volgens Gary Illyes van Google is bot-imitatie door de opkomst van AI uitgegroeid tot een structureel probleem voor website-eigenaren.
Het internet fungeert voor veel AI-ontwikkelaars als een gigantische akker waar gratis content wordt geoogst. Omdat beheerders AI-bots steeds vaker weren, proberen scrapers deze barrières te omzeilen door zich voor te doen als reguliere zoekmachines.
Waarom AI-bedrijven zoekmachines imiteren
De explosieve vraag naar tekst en beeld voor het trainen van taalmodellen drijft ontwikkelaars tot agressieve methoden. Veel beheerders blokkeren inmiddels bekende AI-crawlers via netwerkfilters en firewalls.
Illyes legt uit dat een crawler binnen dertig seconden kan worden geconfigureerd met de user-agent van Googlebot. Websites laten Googlebot immers vrijwel altijd door om hun vindbaarheid in de zoekresultaten veilig te stellen.
Door deze identiteitsfraude glippen ongeautoriseerde bots alsnog door eenvoudige beveiligingsmaatregelen. Illyes testte dit zelf via online honeypots en ontdekte talloze verzoeken die beweerden Googlebot te zijn, afkomstig van IP-adressen die niets met Google te maken hebben.
De mythe van robots.txt als beveiligingsmiddel
Veel website-eigenaren zien het robots.txt-bestand ten onrechte aan voor een effectief toegangsbeheer. In de praktijk is dit tekstbestand slechts een beleefdheidsverzoek waar malafide partijen geen boodschap aan hebben.
Legitieme zoekmachines houden zich netjes aan de richtlijnen in het bestand. Onwelwillende bots en agressieve scrapers negeren deze instructies echter volledig zodra ze kans zien om data binnen te halen.
Wie ongewenst verkeer buiten de deur wil houden, moet maatregelen nemen op netwerkniveau. Een Web Application Firewall en een Content Delivery Network bieden gereedschappen om verkeer daadwerkelijk te filteren voordat het jouw server bereikt.
Slecht geconfigureerde scrapers bedreigen je uptime
De schade van nagemaakte bots ontstaat meestal niet door bewuste cyberaanvallen, maar door pure onbekwaamheid. Grote zoekmachines investeren jarenlang in geavanceerde systemen die de belasting op websites nauwkeurig doseren.
Veel private AI-crawlers missen deze beschermingsmechanismen volledig. Ze vuren in korte tijd duizenden verzoeken af op dezelfde URL-structuren zonder rekening te houden met de servercapaciteit.
Dit kan leiden tot een overmatig verbruik van bandbreedte en rekenkracht. In het ergste geval raakt de server overbelast, waardoor echte bezoekers en klanten een foutmelding te zien krijgen.
Hoe je legitieme zoekbots betrouwbaar verifieert
Vertrouw nooit op de user-agent header wanneer je wilt bepalen of een bezoeker Googlebot is. Iedere ontwikkelaar kan deze tekstregel met een simpele configuratie aanpassen.
Een betrouwbare verificatie vereist twee stappen: een reverse DNS-opvraging en een controle van het IP-adres. Google publiceert de actuele lijst met officiële IP-reeksen waarmee legitieme crawlers opereren.
Daarnaast kunnen grotere platforms gebruikmaken van gescheiden regels voor zoekresultaten en AI-training. Met tokens zoals Google-Extended en Applebot-Extended geef je specifiek aan of jouw content mag worden benut voor modeltraining zonder je algemene indexering te verliezen.
- Controleer inkomende Googlebot-verzoeken altijd via een reverse DNS-lookup naar googlebot.com.
- Gebruik een Content Delivery Network met automatische botdetectie om verdachte patronen af te vangen.
- Analyseer periodiek de serverlogs op verdacht veel verzoeken vanaf individuele IP-adressen.
- Houd robots.txt up-to-date voor bonafide zoekmachines, maar vertrouw er niet op als slot op de deur.
Nieuwe standaarden: cryptografie en reputatiescores
De huidige methode om bots te verifiëren via IP-adressen wordt steeds kostbaarder en complexer om te onderhouden. Daarom onderzoekt de industrie nieuwe technologieën om de authenticiteit van geautomatiseerde bezoekers te garanderen.
Een van de meest veelbelovende initiatieven is Web Bot Auth. Dit protocol maakt gebruik van cryptografisch ondertekende HTTP-verzoeken, vergelijkbaar met moderne e-mailbeveiliging.
Een ontvangende webserver kan met een publieke sleutel direct controleren of een verzoek echt van Google, Microsoft of een andere legitieme partij afkomstig is. Dit maakt manipulatie van headers vrijwel onmogelijk.
Daarnaast overweegt Illyes samen met de beheerders van de robots.txt-standaard een reputatiesysteem voor crawlers. Websites en beveiligingsleveranciers zouden daarin gezamenlijk kunnen bijhouden of een bot zich verantwoordelijk gedraagt, al waarschuwt hij wel voor mogelijke partijdigheid als een enkel bedrijf zo'n systeem controleert.
Wat je nu moet doen voor jouw website
Kleine websites hoeven volgens Illyes niet direct in paniek te raken over bot-imitatie. Zolang jouw server niet traag wordt of bezwijkt onder onverwachte pieken, is ingrijpen meestal nog niet nodig.
Gehoste platforms zoals Shopify regelen veel van deze bescherming al standaard op platformniveau. Beheer je een eigen server of een drukbezochte webwinkel, dan is waakzaamheid wel degelijk verstandig.
Controleer je serverstatistieken regelmatig op afwijkende pieken in het dataverkeer. Mocht je structurele overlast ervaren, activeer dan gerichte netwerkregels via je hostingprovider of CDN om verdachte IP-adressen te blokkeren.
Bron: Search Engine Roundtable