Crawlery AI i robots.txt: na co zezwolić
Aktualizacja: · Orbtown
Firmy AI rozdzielają dziś crawlery do wyszukiwania i crawlery do treningu. Dzięki temu można pozostać widocznym w odpowiedziach AI i jednocześnie odmówić treningu.
Kto co robi
| Crawler | Firma | Cel |
|---|---|---|
| OAI-SearchBot | OpenAI | Wyszukiwanie ChatGPT |
| GPTBot | OpenAI | Trening modeli |
| ChatGPT-User | OpenAI | Strony, o które prosi użytkownik |
| Claude-SearchBot | Anthropic | Indeks wyszukiwania Claude |
| ClaudeBot | Anthropic | Trening modeli |
| Claude-User | Anthropic | Strony, o które prosi użytkownik |
| PerplexityBot | Perplexity | Wyniki wyszukiwania Perplexity |
| Googlebot | Wyszukiwanie, w tym AI Overviews |
Widoczność w AI bez treningu
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlNa co uważać
- Zapora sieciowa. CDN lub wtyczka bezpieczeństwa może blokować te boty, nawet jeśli robots.txt na nie zezwala. Sprawdź logi.
- Pobieranie na żądanie użytkownika. OpenAI podaje, że reguły robots.txt mogą nie dotyczyć ChatGPT-User.
- Googlebot. Zablokowanie go usuwa stronę z wyszukiwarki Google. Google-Extended to osobne ustawienie dotyczące treningu i ugruntowania (grounding) w niektórych innych systemach Google.
- Nazwy się zmieniają. Przed oparciem się na jakiejkolwiek liście, także tej, sprawdź aktualną dokumentację dostawców.
Najczęstsze pytania
Czy powinienem zablokować GPTBot?
To decyzja biznesowa dotycząca treningu. Zablokowanie go nie powstrzymuje OAI-SearchBot przed wyświetlaniem Twojej strony w wyszukiwaniu ChatGPT.
Jak szybko działają zmiany w robots.txt?
OpenAI podaje około 24 godzin dla swoich wyników wyszukiwania. U innych firm może to wyglądać inaczej.