robots.txt für KI-Bots
Begriff aus der Welt der KI-Sichtbarkeit – einfach erklärt vom GeoStars-Team.
Regeln in der robots.txt, die festlegen, welche KI-Crawler deine Website lesen dürfen – sinnvollerweise getrennt nach Training, Suchindex und Live-Abruf.
Du willst wissen, wie deine Marke bei diesem Thema dasteht? GeoStars misst deine KI-Sichtbarkeit über ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot und Google AI Mode – Erstmessung in ein paar Minuten · 7 Tage kostenlos, Abbuchung erst danach.
Welche Einträge es gibt
Jeder Anbieter nutzt eigene Namen. OpenAI unterscheidet GPTBot für das Training, OAI-SearchBot für die Suche in ChatGPT und ChatGPT-User für Abrufe auf Nutzeranfrage. Perplexity nutzt PerplexityBot, Anthropic ClaudeBot. Google-Extended ist kein eigener Crawler, sondern ein Steuerzeichen: Es regelt, ob Inhalte für Gemini-Modelle genutzt werden. Die AI Overviews in der Google-Suche steuert es nach Googles Angaben nicht.
Der häufigste Fehler
Wer alle KI-Bots pauschal sperrt, um das Training zu verhindern, sperrt oft auch die Such-Crawler aus – dann kann eine KI die Seite nicht mehr als Quelle nutzen. Besser ist eine bewusste Entscheidung je Zweck. GeoStars prüft die robots.txt gegen 48 KI-Bots und zeigt wöchentlich, welche neu blockiert oder wieder erlaubt sind.
Weiter im Glossar.
Setz deinen Kurs
noch heute.
Starte kostenlos – in ein paar Minuten weißt du, wo deine Marke im KI-Universum steht.