AI crawlery
Pojem ze světa viditelnosti v AI – jednoduše vysvětlený týmem GeoStars.
Programy, kterými poskytovatelé AI načítají weby – pro trénování modelů, pro vyhledávací index nebo pro živé načtení během uživatelského dotazu.
Chceš vědět, jak si tvoje značka v tomto tématu stojí? GeoStars měří tvoji viditelnost v AI napříč ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot a Google AI Mode – první měření za pár minut · 7 dní zdarma, platba se strhne až poté.
Tři typy AI crawlerů
Trénovací crawlery jako GPTBot nebo ClaudeBot sbírají obsah pro budoucí modely. Vyhledávací crawlery jako OAI-SearchBot nebo PerplexityBot budují index, ze kterého odpovědi čerpají své zdroje. Uživatelská načtení jako ChatGPT-User stáhnou stránku, když se na ni někdo zeptá. Pro dnešní viditelnost je důležitý hlavně vyhledávací index a živé načtení. Řada AI crawlerů nespouští JavaScript – obsah, který se dotahuje až v prohlížeči, často nevidí.
Jak je sleduješ
Serverové logy ukazují, kteří boti kdy a jaké stránky načítají. Analýza botů GeoStars je vyhodnocuje, rozpoznává 48 AI botů, porovnává návštěvy s tvým robots.txt a u každé URL propojuje první návštěvu bota s prvním citováním.
Dále ve slovníku.
GPTBot · PerplexityBot · robots.txt pro AI boty · Time-to-First-Citation
Nastav svůj kurz
ještě dnes.
Začni zdarma – za pár minut budeš vědět, kde tvoje značka ve vesmíru AI stojí.