robots.txt for AI-bots
Begreb fra AI-synlighedens verden – enkelt forklaret af GeoStars-teamet.
Regler i robots.txt, der fastlægger, hvilke AI-crawlere der må læse dit website – fornuftigvis adskilt efter træning, søgeindeks og live-opslag.
Vil du vide, hvordan dit brand står i dette emne? GeoStars måler din AI-synlighed på tværs af ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot og Google AI Mode – første måling på få minutter · 7 dage gratis, betaling trækkes først bagefter.
Hvilke poster der findes
Hver udbyder bruger sine egne navne. OpenAI skelner mellem GPTBot til træning, OAI-SearchBot til søgning i ChatGPT og ChatGPT-User til opslag på brugerforespørgsel. Perplexity bruger PerplexityBot, Anthropic ClaudeBot. Google-Extended er ikke en selvstændig crawler, men et styretegn: Det styrer, om indhold bruges til Gemini-modeller. AI Overviews i Google-søgningen styrer det ifølge Google ikke.
Den hyppigste fejl
Den, der blokerer alle AI-bots samlet for at forhindre træning, lukker ofte også søgecrawlerne ude – så kan en AI ikke længere bruge siden som kilde. Bedre er en bevidst beslutning pr. formål. GeoStars tjekker robots.txt mod 48 AI-bots og viser ugentligt, hvilke der er nyblokeret eller igen tilladt.
Videre i ordlisten.
Sæt din kurs
allerede i dag.
Start gratis – på et par minutter ved du, hvor dit brand står i AI-universet.