robots.txt AI-boteille
Käsite AI-näkyvyyden maailmasta – helposti selitettynä GeoStars-tiimiltä.
robots.txt:n säännöt, jotka määräävät, mitkä AI-crawlerit saavat lukea verkkosivustoasi – järkevintä on erottaa koulutus, hakuindeksi ja reaaliaikainen haku toisistaan.
Haluatko tietää, miten brändisi pärjää tässä aiheessa? GeoStars mittaa AI-näkyvyytesi ChatGPT:ssä, Google AI Overviewsissa, Geminissä, Perplexityssä, Microsoft Copilotissa ja Google AI Modessa – ensimittaus muutamassa minuutissa · 7 päivää ilmaiseksi, veloitus vasta sen jälkeen.
Mitä merkintöjä on olemassa
Jokainen palveluntarjoaja käyttää omia nimiään. OpenAI erottaa GPTBotin koulutusta varten, OAI-SearchBotin ChatGPT:n hakua varten ja ChatGPT-Userin käyttäjän pyynnöstä tehtäviä hakuja varten. Perplexity käyttää PerplexityBotia, Anthropic ClaudeBotia. Google-Extended ei ole oma crawlerinsa, vaan ohjausmerkki: se säätelee, käytetäänkö sisältöä Gemini-malleissa. Google-haun AI Overviewsia se Googlen mukaan ei ohjaa.
Yleisin virhe
Joka estää kaikki AI-botit yleisesti estääkseen koulutuksen, estää usein myös hakucrawlerit – silloin AI ei voi enää käyttää sivua lähteenä. Parempi on tehdä tietoinen päätös käyttötarkoituksen mukaan. GeoStars tarkistaa robots.txt-tiedoston 48 AI-bottia vasten ja näyttää viikoittain, mitkä on äskettäin estetty tai sallittu uudelleen.
Jatka sanastoon.
Aseta suuntasi
jo tänään.
Aloita ilmaiseksi – muutamassa minuutissa tiedät, missä brändisi on tekoälyuniversumissa.