robots.txt para bots de IA
Término del mundo de la visibilidad en IA – explicado de forma sencilla por el equipo de GeoStars.
Reglas en el robots.txt que definen qué rastreadores de IA pueden leer tu web – lo razonable es distinguir entre entrenamiento, índice de búsqueda y acceso en vivo.
¿Quieres saber cómo está tu marca en este tema? GeoStars mide tu visibilidad en IA en ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot y Google AI Mode – Primera medición en unos minutos · 7 días gratis, cargo solo después.
Qué entradas existen
Cada proveedor usa sus propios nombres. OpenAI distingue GPTBot para el entrenamiento, OAI-SearchBot para la búsqueda en ChatGPT y ChatGPT-User para los accesos por petición de usuario. Perplexity usa PerplexityBot, Anthropic ClaudeBot. Google-Extended no es un rastreador propio, sino una señal de control: regula si el contenido se usa para los modelos Gemini. Según Google, no controla los AI Overviews en la búsqueda de Google.
El error más frecuente
Bloquear todos los bots de IA sin distinción para impedir el entrenamiento suele bloquear también los rastreadores de búsqueda – entonces una IA ya no puede usar la página como fuente. Es mejor tomar una decisión consciente según el propósito. GeoStars comprueba el robots.txt frente a 48 bots de IA y muestra cada semana cuáles han sido bloqueados de nuevo o vuelven a estar permitidos.
Sigue en el Glosario.
Marca tu rumbo
hoy mismo.
Empieza gratis: en unos minutos sabrás dónde está tu marca en el universo de la IA.