AI-bots blokkeren? Het MKB beschermt meestal het verkeerde

Een webshop in tuinmeubelen paste elke ochtend keurig zijn prijzen aan. Elke middag stond de concurrent er structureel 2% onder. Geen toeval: een bot trok elke nacht de volledige prijslijst binnen, verwerkte die en rekende terug.

Dit is waar het gesprek over AI-bots eigenlijk over hoort te gaan. Niet over ChatGPT dat je Over-ons-pagina leest. Over geautomatiseerde systemen die je prijzen, je infrastructuur en je klantdata leegtrekken, sneller dan je het doorhebt.

En toch pakt bijna elke ondernemer die ik spreek het verkeerd aan. De reflex is simpel: blokkeer alle AI-bots. Een regeltje in robots.txt, ergens een vinkje "block AI crawlers" bij je hostingpartij, klaar. Dat is precies de verkeerde zet. Technisch kansloos, en het kost je klanten.

robots.txt is een verzoek, geen slot

Begin bij de harde waarheid: robots.txt en het nieuwere llms.txt zijn beleefdheidsbriefjes. Een net bot van Google of OpenAI leest ze en houdt zich eraan. Een scraper die je prijzen wil, veegt ze van tafel.

Diezelfde scraper vermomt zich moeiteloos. Een user-agent is een tekstregel die je zelf invult, dus "ik ben een gewone browser" kost een aanvaller nul moeite. IP-adressen roteren via duizenden huis-tuin-en-keuken-proxies. Alles waar de klassieke blokkade op leunt, is triviaal te vervalsen.

Dat is precies waarom de grote spelers de wapenwedloop hebben verlegd. Cloudflare, dat naar eigen zeggen meer dan een biljoen verzoeken per dag analyseert, kondigde net Precursor aan: detectie op basis van hoe iets zich gedraagt in de browser, niet wie het zegt te zijn. De reden is veelzeggend. De oude kenmerken zijn zo grondig omzeild dat ze niets meer waard zijn.

Vertaald naar jouw situatie: als miljardenbedrijven de identiteitscheck hebben opgegeven, ga jij het gevecht niet winnen met drie regels in een tekstbestand.

Niet elke bot is je vijand

Hier zit de denkfout die het meeste geld kost. Een deel van die "AI-bots" wil je juist binnenlaten.

Steeds meer mensen zoeken niet meer op Google, maar vragen het aan een AI. "Wie plaatst kunststof kozijnen in mijn regio?" Het antwoord dat terugkomt, is opgebouwd uit websites die die AI heeft mogen lezen. Blokkeer je die crawlers, dan besta je simpelweg niet in dat antwoord.

Voor een installatiebedrijf of een accountantskantoor is dat geen technische randvoetnoot, dat is je nieuwe voordeur. De bot die je servicepagina leest en je later noemt als een klant iets vraagt, levert je gratis leads. Die wil je omarmen, niet weren.

Dus de vraag is niet "AI-bots: ja of nee". De vraag is: welke bot mag wat. De bot die je marketing leest, is een gast. De bot die je inlogpagina beukt, is een inbreker. Je gooit niet dezelfde deur voor allebei dicht.

Bescherm de kluis, niet de etalage

Mijn stelling in één zin: je blog, je dienstenpagina's en je portfolio zijn de etalage. Die zijn bedoeld om bekeken te worden, door mensen én door machines. Energie steken in het afschermen daarvan is energie op de verkeerde plek.

De schade zit ergens anders. En dáár is het menens:

• Je inlogpagina. Bots proberen gelekte wachtwoorden uit, duizenden per minuut. Één zwak account en ze zitten binnen.

• Je formulieren. Contact- en offerteformulieren raken volgelopen met AI-gegenereerde spam die echt lijkt. Je verkoop verdrinkt in ruis.

• Je prijzen en voorraad. Een concurrent die jou live volgt en altijd net onderbiedt, zoals de tuinmeubelwinkel merkte.

• Je klantdata. Elke publieke pagina die iets over een klant prijsgeeft, is een pagina die geoogst wordt.

  
  

Dit is het verschil tussen de etalage en de kluis. Laat de etalage open. Zet je verdediging op de kluis.

Wat je maandag regelt

Concreet, en zonder dat je een securityafdeling hoeft op te tuigen:

• Rate limiting waar het telt. Een limiet op login-, contact- en betaalpagina's, niet op je blog. Tien loginpogingen per minuut vanaf één bron is geen mens, dat is een aanval.

• Gedragsdetectie via je CDN. Zet botmanagement aan bij je Cloudflare- of vergelijkbare laag. Die kijkt naar gedrag, niet naar de naam die een bezoeker opgeeft. Dat is de enige aanpak die meebeweegt met de aanvaller.

• robots.txt en llms.txt bewust inzetten. Niet als muur, maar als bordje: welkom op je marketing, verboden op /account en /checkout. De nette bots luisteren, en dat is precies de winst die je van ze wilt.

• Niets publiek dat niet publiek mag zijn. Als een endpoint data teruggeeft die je niet aan een vreemde op straat zou geven, hoort het achter een login, niet achter een bot-blokkade.

• Een canary in je content. Een uniek, verzonnen zinnetje of een nepproduct in je catalogus. Duikt dat elders op, dan weet je meteen wie je heeft gekopieerd, en heb je bewijs.

  
  

En wat je vooral niet moet doen

Er circuleren trucs die goed klinken en slecht uitpakken. Neem het idee van een Ghost Font, een lettertype dat mensen wel lezen maar AI niet. Leuk experiment, waardeloos in de praktijk.

Zo'n truc sloopt je vindbaarheid, want ook Google leest dan mee als een bot en snapt je pagina niet meer. Hij breekt schermlezers, dus je sluit slechtziende bezoekers buiten. En een serieuze scraper leest je scherm gewoon als plaatje terug. Je saboteert jezelf en houdt niemand tegen.

Datzelfde geldt voor de reflex om alles zelf dicht te timmeren met eigen filterregels. Je bouwt geen wapenwedloop tegen partijen die dit fulltime doen. Leun op een laag die dat voor je bijhoudt, en besteed je eigen tijd aan de kluis.

De kern is dit: stop met alle AI-bots als één vijand zien. Dat is én onmogelijk én zelfsabotage. Laat lezen wat gelezen mag worden. Bewaak wat pijn doet als het weglekt. Wie dat onderscheid maakt, staat sterker dan wie een muur bouwt om zijn eigen etalage.