Verkkocrawlerit ovat ohjelmistoja, jotka käyvät automaattisesti läpi verkkosivustoja ja indeksoivat niiden sisällön hakukoneita tai tekoälyjärjestelmiä varten. Perinteisten hakukonecrawlerien – Googlebot, Bingbot – rinnalle on noussut joukko tekoälycrawlereita.
Tärkeimmät tekoälycrawlerit
GPTBot (OpenAI/ChatGPT), PerplexityBot (Perplexity AI), Google-Extended (Gemini/AI Overviews), ClaudeBot (Anthropic/Claude), anthropic-ai (Anthropic), Applebot-Extended (Apple Intelligence) ja cohere-ai (Cohere) ovat keskeisimmät tekoälycrawlerit joiden pääsy sivustolle kannattaa varmistaa robots.txt:ssä.
Crawlauksen salliminen
Robots.txt-tiedostossa voit erikseen sallia tai estää jokaisen crawlerin. GEO:n kannalta kaikki listatut tekoälycrawlerit kannattaa sallia, ellei ole erityistä syytä estää. Lisätietoa: Tekninen GEO