AI crawlery a robots.txt: čo povoliť
Aktualizované: · Orbtown
AI spoločnosti dnes oddeľujú crawlery na vyhľadávanie od crawlerov na trénovanie. Môžete teda zostať viditeľní v odpovediach AI a trénovanie pritom odmietnuť.
Kto čo robí
| Crawler | Spoločnosť | Účel |
|---|---|---|
| OAI-SearchBot | OpenAI | Vyhľadávanie v ChatGPT |
| GPTBot | OpenAI | Trénovanie modelov |
| ChatGPT-User | OpenAI | Stránky, ktoré si vyžiada používateľ |
| Claude-SearchBot | Anthropic | Vyhľadávací index Claude |
| ClaudeBot | Anthropic | Trénovanie modelov |
| Claude-User | Anthropic | Stránky, ktoré si vyžiada používateľ |
| PerplexityBot | Perplexity | Výsledky vyhľadávania Perplexity |
| Googlebot | Vyhľadávanie vrátane AI Overviews |
Viditeľnosť v AI bez trénovania
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlNa čo si dať pozor
- Váš firewall. CDN alebo bezpečnostný plugin môže týchto botov blokovať, aj keď ich robots.txt povoľuje. Skontrolujte si logy.
- Načítania spúšťané používateľom. OpenAI uvádza, že pravidlá robots.txt sa na ChatGPT-User nemusia vzťahovať.
- Googlebot. Jeho zablokovanie vás vyradí z Vyhľadávania Google. Google-Extended je samostatné nastavenie pre trénovanie a grounding v niektorých ďalších systémoch Google.
- Názvy sa menia. Skôr než sa budete spoliehať na akýkoľvek zoznam vrátane tohto, overte si aktuálnu dokumentáciu poskytovateľov.
Časté otázky
Mám zablokovať GPTBot?
To je obchodné rozhodnutie o trénovaní. Jeho zablokovanie nezabráni tomu, aby OAI-SearchBot zobrazoval váš web vo vyhľadávaní ChatGPT.
Ako rýchlo sa zmeny v robots.txt prejavia?
OpenAI uvádza pre svoje výsledky vyhľadávania približne 24 hodín. Pri iných spoločnostiach to môže byť inak.