robots.txt per i bot IA
Termine dal mondo della visibilità IA – spiegato in modo semplice dal team GeoStars.
Regole nel robots.txt che stabiliscono quali crawler IA possono leggere il tuo sito – utile distinguerle per addestramento, indice di ricerca e recupero live.
Vuoi sapere come si posiziona il tuo marchio su questo tema? GeoStars misura la tua visibilità IA su ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot e Google AI Mode – Prima misurazione in pochi minuti · 7 giorni gratis, addebito solo dopo.
Quali voci esistono
Ogni fornitore usa nomi propri. OpenAI distingue GPTBot per l'addestramento, OAI-SearchBot per la ricerca in ChatGPT e ChatGPT-User per i recuperi su richiesta dell'utente. Perplexity usa PerplexityBot, Anthropic ClaudeBot. Google-Extended non è un crawler a sé, ma un carattere di controllo: regola se i contenuti vengono utilizzati per i modelli Gemini. Le AI Overview nella ricerca Google, secondo Google, non le governa.
L'errore più comune
Chi blocca genericamente tutti i bot IA per impedire l'addestramento, spesso blocca anche i crawler di ricerca – allora un'IA non può più usare la pagina come fonte. Meglio è una decisione consapevole per ogni scopo. GeoStars verifica il robots.txt rispetto a 48 bot IA e mostra ogni settimana quali sono stati bloccati di nuovo o riammessi.
Continua nel Glossario.
Imposta la tua rotta
già da oggi.
Inizia gratis – in pochi minuti sai dove si colloca il tuo marchio nell'universo dell'IA.