robots.txt dla botów AI
Pojęcie ze świata widoczności w AI – prosto wyjaśnione przez zespół GeoStars.
Reguły w pliku robots.txt, które określają, które crawlery AI mogą czytać Twoją stronę – sensownie rozdzielone na trenowanie, indeks wyszukiwania i pobranie na żywo.
Chcesz wiedzieć, jak twoja marka wypada w tym temacie? GeoStars mierzy twoją widoczność w AI w ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot i Google AI Mode – pierwszy pomiar w kilka minut · 7 dni za darmo, pobranie opłaty dopiero potem.
Jakie wpisy istnieją
Każdy dostawca używa własnych nazw. OpenAI rozróżnia GPTBot do trenowania, OAI-SearchBot do wyszukiwania w ChatGPT i ChatGPT-User do pobrań na żądanie użytkownika. Perplexity używa PerplexityBot, Anthropic – ClaudeBot. Google-Extended nie jest osobnym crawlerem, lecz znacznikiem sterującym: określa, czy treści są wykorzystywane dla modeli Gemini. Według Google nie steruje on AI Overviews w wyszukiwarce Google.
Najczęstszy błąd
Kto blokuje wszystkie boty AI hurtowo, aby zapobiec trenowaniu, często blokuje też crawlery wyszukujące – wtedy AI nie może już wykorzystywać strony jako źródła. Lepsza jest świadoma decyzja dla każdego celu osobno. GeoStars sprawdza plik robots.txt względem 48 botów AI i co tydzień pokazuje, które zostały nowo zablokowane lub ponownie dopuszczone.
Dalej w glosariuszu.
Wyznacz swój kurs
jeszcze dziś.
Zacznij za darmo – w kilka minut wiesz, gdzie stoi twoja marka we wszechświecie AI.