robots.txt para bots de IA
Um conceito do mundo da visibilidade em IA – explicado de forma simples pela equipa do GeoStars.
Regras no robots.txt que definem que crawlers de IA podem ler o teu site – idealmente separadas por treino, índice de pesquisa e acesso em tempo real.
Queres saber como está a tua marca neste tema? O GeoStars mede a tua visibilidade em IA no ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot e Google AI Mode – primeira medição em poucos minutos · 7 dias grátis, cobrança só depois.
Que entradas existem
Cada fornecedor usa os seus próprios nomes. A OpenAI distingue o GPTBot para o treino, o OAI-SearchBot para a pesquisa no ChatGPT e o ChatGPT-User para acessos a pedido de utilizadores. O Perplexity usa o PerplexityBot, a Anthropic o ClaudeBot. O Google-Extended não é um crawler próprio, mas um indicador de controlo: regula se os conteúdos são usados para os modelos Gemini. Segundo a Google, não controla os AI Overviews na pesquisa do Google.
O erro mais comum
Quem bloqueia todos os bots de IA indiscriminadamente para impedir o treino acaba muitas vezes por bloquear também os crawlers de pesquisa – nesse caso, uma IA deixa de poder usar a página como fonte. É melhor tomar uma decisão consciente por finalidade. A GeoStars verifica o robots.txt face a 48 bots de IA e mostra semanalmente quais passaram a estar bloqueados ou voltaram a ser permitidos.
Continuar no Glossário.
Define o teu rumo
ainda hoje.
Começa grátis – em poucos minutos sabes onde está a tua marca no universo da IA.