robots.txt voor AI-bots
Begrip uit de wereld van AI-zichtbaarheid – eenvoudig uitgelegd door het GeoStars-team.
Regels in de robots.txt die bepalen welke AI-crawlers je website mogen lezen – bij voorkeur apart voor training, zoekindex en live-ophaling.
Wil je weten hoe jouw merk er bij dit thema voor staat? GeoStars meet jouw AI-zichtbaarheid via ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot en Google AI Mode – Eerste meting binnen een paar minuten · 7 dagen gratis, afschrijving pas daarna.
Welke vermeldingen er zijn
Elke aanbieder gebruikt eigen namen. OpenAI onderscheidt GPTBot voor training, OAI-SearchBot voor het zoeken in ChatGPT en ChatGPT-User voor ophalingen op gebruikersaanvraag. Perplexity gebruikt PerplexityBot, Anthropic ClaudeBot. Google-Extended is geen eigen crawler, maar een stuurteken: het regelt of content wordt gebruikt voor Gemini-modellen. De AI Overviews in Google Zoeken stuurt het volgens Google niet aan.
De meest voorkomende fout
Wie alle AI-bots klakkeloos blokkeert om training te voorkomen, sluit vaak ook de zoekcrawlers buiten – dan kan een AI de pagina niet meer als bron gebruiken. Beter is een bewuste keuze per doel. GeoStars toetst de robots.txt aan 48 AI-bots en laat wekelijks zien welke nieuw geblokkeerd of weer toegestaan zijn.
Verder in de Woordenlijst.
Zet je koers uit
vandaag nog.
Begin gratis – binnen een paar minuten weet je waar je merk staat in het AI-universum.