robots.txt pour les bots IA
Terme du monde de la visibilité IA – expliqué simplement par l'équipe GeoStars.
Des règles dans le robots.txt qui définissent quels crawlers IA sont autorisés à lire ton site – idéalement en distinguant entraînement, index de recherche et accès en direct.
Tu veux savoir où en est ta marque sur ce sujet ? GeoStars mesure ta visibilité IA sur ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot et Google AI Mode – Première mesure en quelques minutes · 7 jours gratuits, prélèvement seulement après.
Quelles entrées existent
Chaque fournisseur utilise ses propres noms. OpenAI distingue GPTBot pour l'entraînement, OAI-SearchBot pour la recherche dans ChatGPT et ChatGPT-User pour les accès sur demande utilisateur. Perplexity utilise PerplexityBot, Anthropic ClaudeBot. Google-Extended n'est pas un crawler à part entière, mais un signal de contrôle : il régit si le contenu est utilisé pour les modèles Gemini. Selon Google, il ne contrôle pas les AI Overviews dans la recherche Google.
L'erreur la plus fréquente
Bloquer tous les bots IA sans distinction pour empêcher l'entraînement bloque souvent aussi les crawlers de recherche – une IA ne peut alors plus utiliser la page comme source. Mieux vaut une décision réfléchie selon l'usage. GeoStars vérifie le robots.txt par rapport à 48 bots IA et montre chaque semaine lesquels sont nouvellement bloqués ou de nouveau autorisés.
Continuer dans le Glossaire.
Fixe ton cap
dès aujourd'hui.
Commence gratuitement – en quelques minutes, tu sais où se situe ta marque dans l'univers de l'IA.