AI crawleři a robots.txt: co povolit
Aktualizováno: · Orbtown
AI společnosti dnes oddělují crawlery pro vyhledávání od crawlerů pro trénování. Můžete tedy zůstat viditelní v odpovědích AI a přitom trénování odmítnout.
Kdo co dělá
| Crawler | Společnost | Účel |
|---|---|---|
| OAI-SearchBot | OpenAI | Vyhledávání v ChatGPT |
| GPTBot | OpenAI | Trénování modelů |
| ChatGPT-User | OpenAI | Stránky, o které požádá uživatel |
| Claude-SearchBot | Anthropic | Vyhledávací index Claude |
| ClaudeBot | Anthropic | Trénování modelů |
| Claude-User | Anthropic | Stránky, o které požádá uživatel |
| PerplexityBot | Perplexity | Výsledky vyhledávání Perplexity |
| Googlebot | Vyhledávání včetně AI Overviews |
Viditelní v AI, bez trénování
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlNa co si dát pozor
- Váš firewall. CDN nebo bezpečnostní plugin mohou tyto boty blokovat, i když je robots.txt povoluje. Zkontrolujte logy.
- Stahování spouštěné uživateli. OpenAI uvádí, že pravidla robots.txt se na ChatGPT-User nemusejí vztahovat.
- Googlebot. Jeho zablokování vás odstraní z Vyhledávání Google. Google-Extended je samostatné nastavení pro trénování a grounding v některých dalších systémech Google.
- Názvy se mění. Než se na jakýkoli seznam spolehnete, včetně tohoto, ověřte aktuální dokumentaci dodavatelů.
Časté otázky
Mám blokovat GPTBot?
To je obchodní rozhodnutí o trénování. Jeho zablokování nebrání OAI-SearchBot zobrazovat váš web ve vyhledávání ChatGPT.
Jak rychle se změny v robots.txt projeví?
OpenAI uvádí u svých výsledků vyhledávání asi 24 hodin. U jiných společností to může být jinak.