robots.txt for AI-boter
Begrep fra AI-synlighetens verden – enkelt forklart av GeoStars-teamet.
Regler i robots.txt som fastsetter hvilke AI-crawlere som får lese nettstedet ditt – fornuftig nok atskilt etter trening, søkeindeks og direkte oppslag.
Vil du vite hvordan merkevaren din ligger an på dette temaet? GeoStars måler AI-synligheten din på tvers av ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot og Google AI Mode – førstegangsmåling på noen minutter · 7 dager gratis, belastning først etterpå.
Hvilke oppføringer som finnes
Hver leverandør bruker egne navn. OpenAI skiller mellom GPTBot for trening, OAI-SearchBot for søk i ChatGPT og ChatGPT-User for oppslag på brukerforespørsel. Perplexity bruker PerplexityBot, Anthropic ClaudeBot. Google-Extended er ikke en egen crawler, men et styringstegn: Det regulerer om innhold brukes til Gemini-modeller. AI Overviews i Google-søket styrer det, ifølge Google, ikke.
Den vanligste feilen
Den som sperrer alle AI-boter samlet for å hindre trening, sperrer ofte også søkecrawlerne – da kan en AI ikke lenger bruke siden som kilde. Bedre er en bevisst avgjørelse per formål. GeoStars sjekker robots.txt mot 48 AI-boter og viser ukentlig hvilke som nylig er blokkert eller tillatt igjen.
Videre i ordlisten.
Sett kursen
allerede i dag.
Start gratis – på noen få minutter vet du hvor merkevaren din står i AI-universet.