AI-crawlers
Begrip uit de wereld van AI-zichtbaarheid – eenvoudig uitgelegd door het GeoStars-team.
Programma's waarmee AI-aanbieders websites ophalen – voor het trainen van modellen, voor een zoekindex of voor een live-ophaling tijdens een gebruikersaanvraag.
Wil je weten hoe jouw merk er bij dit thema voor staat? GeoStars meet jouw AI-zichtbaarheid via ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot en Google AI Mode – Eerste meting binnen een paar minuten · 7 dagen gratis, afschrijving pas daarna.
Drie soorten AI-crawlers
Trainingscrawlers zoals GPTBot of ClaudeBot verzamelen content voor toekomstige modellen. Zoekcrawlers zoals OAI-SearchBot of PerplexityBot bouwen de index waaruit antwoorden hun bronnen halen. Gebruikersophalingen zoals ChatGPT-User halen een pagina op wanneer iemand daarnaar vraagt. Voor de zichtbaarheid van vandaag tellen vooral zoekindex en live-ophaling. Veel AI-crawlers voeren geen JavaScript uit – content die pas in de browser wordt nageladen, zien ze vaak niet.
Hoe je ze volgt
De server-logs laten zien welke bots wanneer welke pagina's ophalen. De Bot-analyse van GeoStars analyseert ze, herkent 48 AI-bots, vergelijkt de bezoeken met je robots.txt en koppelt per URL het eerste bot-bezoek aan het eerste citaat.
Verder in de Woordenlijst.
GPTBot · PerplexityBot · robots.txt voor AI-bots · Time-to-First-Citation
Zet je koers uit
vandaag nog.
Begin gratis – binnen een paar minuten weet je waar je merk staat in het AI-universum.