KI-Crawler und robots.txt: Was Sie zulassen sollten
Aktualisiert: · Orbtown
KI-Unternehmen trennen inzwischen Crawler für die Suche von Crawlern für das Training. Sie können also in KI-Antworten sichtbar bleiben und trotzdem Nein zum Training sagen.
Wer was macht
| Crawler | Unternehmen | Zweck |
|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT-Suche |
| GPTBot | OpenAI | Modelltraining |
| ChatGPT-User | OpenAI | Seiten, die ein Nutzer anfragt |
| Claude-SearchBot | Anthropic | Suchindex von Claude |
| ClaudeBot | Anthropic | Modelltraining |
| Claude-User | Anthropic | Seiten, die ein Nutzer anfragt |
| PerplexityBot | Perplexity | Suchergebnisse von Perplexity |
| Googlebot | Suche, einschließlich AI Overviews |
Sichtbar in KI, kein Training
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlDarauf sollten Sie achten
- Ihre Firewall. Ein CDN oder Sicherheits-Plugin kann diese Bots blockieren, auch wenn die robots.txt sie zulässt. Prüfen Sie Ihre Logs.
- Von Nutzern ausgelöste Abrufe. Laut OpenAI gelten robots.txt-Regeln für ChatGPT-User möglicherweise nicht.
- Googlebot. Wenn Sie ihn sperren, verschwinden Sie aus der Google-Suche. Google-Extended ist eine separate Steuerung für Training und Grounding in einigen anderen Google-Systemen.
- Namen ändern sich. Prüfen Sie die aktuelle Dokumentation der Anbieter, bevor Sie sich auf eine Liste verlassen, auch auf diese.
Häufige Fragen
Sollte ich GPTBot sperren?
Das ist eine geschäftliche Entscheidung über das Training. Eine Sperre hindert OAI-SearchBot nicht daran, Ihre Website in der ChatGPT-Suche sichtbar zu machen.
Wie schnell wirken Änderungen an der robots.txt?
OpenAI nennt etwa 24 Stunden für seine Suchergebnisse. Bei anderen Unternehmen kann das abweichen.