robots.txt för AI-bottar
Begrepp ur AI-synlighetens värld – enkelt förklarat av GeoStars-teamet.
Regler i robots.txt som anger vilka AI-crawlers som får läsa din webbplats – lämpligen separerade efter träning, sökindex och direkthämtning.
Vill du veta hur ditt varumärke står sig i det här ämnet? GeoStars mäter din AI-synlighet över ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot och Google AI Mode – Första mätningen på några minuter · 7 dagar gratis, debitering först efteråt.
Vilka poster som finns
Varje leverantör använder egna namn. OpenAI skiljer på GPTBot för träning, OAI-SearchBot för sökning i ChatGPT och ChatGPT-User för hämtningar på användarförfrågan. Perplexity använder PerplexityBot, Anthropic ClaudeBot. Google-Extended är ingen egen crawler, utan ett styrtecken: det reglerar om innehåll används för Gemini-modeller. AI Overviews i Google-sökningen styr det enligt Google inte.
Det vanligaste misstaget
Den som spärrar alla AI-bottar rakt av för att förhindra träning, spärrar ofta även sök-crawlers – då kan en AI inte längre använda sidan som källa. Bättre är ett medvetet beslut per syfte. GeoStars kontrollerar robots.txt mot 48 AI-bottar och visar varje vecka vilka som nyligen blockerats eller tillåtits igen.
Vidare i ordlistan.
Sätt din kurs
redan i dag.
Starta gratis – på några minuter vet du var ditt varumärke står i AI-universum.