Poradnik · Katalog firm

Crawlery AI i robots.txt: na co zezwolić

Aktualizacja: · Orbtown

Firmy AI rozdzielają dziś crawlery do wyszukiwania i crawlery do treningu. Dzięki temu można pozostać widocznym w odpowiedziach AI i jednocześnie odmówić treningu.

Kto co robi

CrawlerFirmaCel
OAI-SearchBotOpenAIWyszukiwanie ChatGPT
GPTBotOpenAITrening modeli
ChatGPT-UserOpenAIStrony, o które prosi użytkownik
Claude-SearchBotAnthropicIndeks wyszukiwania Claude
ClaudeBotAnthropicTrening modeli
Claude-UserAnthropicStrony, o które prosi użytkownik
PerplexityBotPerplexityWyniki wyszukiwania Perplexity
GooglebotGoogleWyszukiwanie, w tym AI Overviews

Widoczność w AI bez treningu

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Na co uważać

Najczęstsze pytania

Czy powinienem zablokować GPTBot?

To decyzja biznesowa dotycząca treningu. Zablokowanie go nie powstrzymuje OAI-SearchBot przed wyświetlaniem Twojej strony w wyszukiwaniu ChatGPT.

Jak szybko działają zmiany w robots.txt?

OpenAI podaje około 24 godzin dla swoich wyników wyszukiwania. U innych firm może to wyglądać inaczej.

Źródła

Daj AI jeszcze jedno źródło o swojej firmie

Orbtown to otwarty katalog firm, który mogą czytać narzędzia AI. Dołączenie zajmuje kilka minut, potrzebna jest tylko strona internetowa i numer identyfikacyjny firmy. Od 10 €: jedno piętro za 5 € i 5 € miesięcznie.

Umieść moją firmę na mapie

Czytaj dalej