KI-Crawler
Begriff aus der Welt der KI-Sichtbarkeit – einfach erklärt vom GeoStars-Team.
Programme, mit denen KI-Anbieter Websites abrufen – für das Training von Modellen, für einen Suchindex oder für einen Live-Abruf während einer Nutzeranfrage.
Du willst wissen, wie deine Marke bei diesem Thema dasteht? GeoStars misst deine KI-Sichtbarkeit über ChatGPT, Google AI Overviews, Gemini, Perplexity, Microsoft Copilot und Google AI Mode – Erstmessung in ein paar Minuten · 7 Tage kostenlos, Abbuchung erst danach.
Drei Arten von KI-Crawlern
Trainings-Crawler wie GPTBot oder ClaudeBot sammeln Inhalte für künftige Modelle. Such-Crawler wie OAI-SearchBot oder PerplexityBot bauen den Index, aus dem Antworten ihre Quellen ziehen. Nutzerabrufe wie ChatGPT-User holen eine Seite, wenn jemand danach fragt. Für die Sichtbarkeit heute zählen vor allem Suchindex und Live-Abruf. Viele KI-Crawler führen kein JavaScript aus – Inhalte, die erst im Browser nachgeladen werden, sehen sie oft nicht.
Wie du sie beobachtest
Die Server-Logs zeigen, welche Bots wann welche Seiten abrufen. Die Bot-Analyse von GeoStars wertet sie aus, erkennt 48 KI-Bots, vergleicht die Besuche mit deiner robots.txt und verknüpft je URL den ersten Bot-Besuch mit dem ersten Zitat.
Weiter im Glossar.
GPTBot · PerplexityBot · robots.txt für KI-Bots · Time-to-First-Citation
Setz deinen Kurs
noch heute.
Starte kostenlos – in ein paar Minuten weißt du, wo deine Marke im KI-Universum steht.