robots.txt pro AI boty
Pojem ze světa viditelnosti v AI – jednoduše vysvětlený týmem GeoStars.
Pravidla v robots.txt, která určují, kteří AI crawleři smí číst tvůj web – smysluplně rozdělená podle trénování, vyhledávacího indexu a živého načtení.
Chceš vědět, jak si tvoje značka v tomto tématu stojí? GeoStars měří tvoji viditelnost v AI napříč ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot a Google AI Mode – první měření za pár minut · 7 dní zdarma, platba se strhne až poté.
Jaké záznamy existují
Každý poskytovatel používá vlastní názvy. OpenAI rozlišuje GPTBot pro trénování, OAI-SearchBot pro vyhledávání v ChatGPT a ChatGPT-User pro načtení na žádost uživatele. Perplexity používá PerplexityBot, Anthropic ClaudeBot. Google-Extended není samostatný crawler, ale řídicí značka: určuje, jestli se obsah používá pro modely Gemini. AI Overviews ve vyhledávání Google podle údajů Google neřídí.
Nejčastější chyba
Kdo plošně zablokuje všechny AI boty, aby zabránil trénování, často zablokuje i vyhledávací crawlery – pak AI stránku už nemůže použít jako zdroj. Lepší je vědomé rozhodnutí podle účelu. GeoStars kontroluje robots.txt proti 48 AI botům a týdně ukazuje, kteří jsou nově zablokovaní nebo znovu povolení.
Dále ve slovníku.
Nastav svůj kurz
ještě dnes.
Začni zdarma – za pár minut budeš vědět, kde tvoje značka ve vesmíru AI stojí.