Was ist der Unterschied zwischen ClaudeBot, Claude-SearchBot und Claude-User?

ClaudeBot sammelt Inhalte für das Training der Claude-Modelle. Claude-SearchBot erfasst Inhalte, um die Suche in Claude zu verbessern. Claude-User ruft Seiten ab, wenn ein Nutzer Claude eine Frage stellt. Alle drei haben eigene Tokens in der robots.txt.

Wie sperre ich nur das Training, ohne in Claude unsichtbar zu werden?

Sperren Sie ClaudeBot mit „User-agent: ClaudeBot“ und „Disallow: /“ und lassen Sie Claude-SearchBot und Claude-User zu. So werden künftige Inhalte laut Anthropic aus dem Training ausgeschlossen, während Claude Ihre Seiten weiterhin abrufen kann.

Wie prüfe ich, ob ein Zugriff wirklich von Anthropic kommt?

Gleichen Sie die IP-Adresse des Zugriffs mit der von Anthropic veröffentlichten IP-Liste ab. Steht sie darauf, stammt der Crawler laut Anthropic tatsächlich von Anthropic. Den User-Agent allein sollten Sie nicht als Beweis nehmen.

Unterstützt ClaudeBot Crawl-delay?

Ja. Anthropic unterstützt nach eigenen Angaben die nicht standardisierte Anweisung Crawl-delay, zum Beispiel „Crawl-delay: 1“, um die Zugriffsfrequenz zu drosseln.

Hilft eine llms.txt bei Claude?

Die llms.txt ist ein freiwilliger Vorschlag, mit dem Sie KI-Systemen eine kompakte Übersicht Ihrer wichtigsten Inhalte anbieten. Ob und wie einzelne Anbieter sie auswerten, ist nicht verbindlich dokumentiert. Sie schadet nicht und ist schnell erstellt, etwa mit dem kostenlosen llms.txt-Generator von Nennbar.

nennbar

Anmelden Kostenlos prüfen

Offizielle Crawler-Dokumentation

Anthropic ClaudeBot

Der Crawler, mit dem Anthropic Web-Inhalte für das Training der Claude-Modelle sammelt

Empfehlung: Freigeben (Allow)

ClaudeBot ist der Crawler, mit dem Anthropic öffentlich zugängliche Web-Inhalte für das Training seiner Claude-Modelle sammelt. Wird ClaudeBot in der robots.txt gesperrt, sollen laut Anthropic künftige Inhalte Ihrer Website aus den Trainingsdaten ausgeschlossen werden. Anthropic betreibt zwei weitere Agenten mit eigenen Tokens: Claude-SearchBot erfasst Inhalte, um die Suchergebnisse in Claude zu verbessern, und Claude-User ruft Seiten ab, wenn ein Nutzer Claude eine Frage stellt, die das erfordert. Eine Sperre dieser beiden kann laut Anthropic die Sichtbarkeit Ihrer Website in Claude verringern. Anthropic beachtet die robots.txt und unterstützt zusätzlich die nicht standardisierte Anweisung Crawl-delay.

Betreiber und Sitz: AnthropicSan Francisco, USA
Crawler-Typ: Modell-Training
Offizielle IP-Listen: JSON-Endpoint (öffnet in neuem Tab)

Technische Konfiguration

User-Agent und robots.txt.

Vollständiger User-Agent String

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)

Empfohlener Eintrag in Ihrer robots.txt

Wurzelverzeichnis /robots.txt

# Training erlauben
User-agent: ClaudeBot
Allow: /
Crawl-delay: 1

# Suche und Nutzerabrufe in Claude erlauben
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# Alternative: nur das Training ausschließen
# User-agent: ClaudeBot
# Disallow: /

Wirkung im B2B

Auswirkungen auf die B2B-Sichtbarkeit im DACH-Raum.

Claude wird in vielen Unternehmen für Recherche und Analyse genutzt. Für B2B-Anbieter lohnt es sich daher, die drei Anthropic-Agenten bewusst zu steuern: ClaudeBot betrifft das Training, Claude-SearchBot und Claude-User betreffen, ob Ihre Seiten bei Suchen und Nutzerfragen in Claude überhaupt abgerufen werden können.

Vorteile der Freigabe (Allow)

Inhalte zu Ihrem Unternehmen können in das Wissen künftiger Claude-Modelle einfließen.
Jeder der drei Agenten lässt sich einzeln steuern; Training und Suche sind getrennt regelbar.
Anthropic beachtet die robots.txt und unterstützt Crawl-delay, um die Serverlast zu begrenzen.
Anthropic veröffentlicht eine IP-Liste, mit der sich echte Zugriffe verifizieren lassen.

Mögliche Risiken und Beachtenswertes

Eine Sperre von ClaudeBot sperrt nicht automatisch Claude-SearchBot oder Claude-User – und umgekehrt.
Wer alle drei Agenten sperrt, kann laut Anthropic an Sichtbarkeit in Claude verlieren.
Ein späteres Disallow entfernt Inhalte nicht aus bereits trainierten Modellen.

Fragen und Antworten

Häufige Fragen zu Anthropic ClaudeBot

Was ist der Unterschied zwischen ClaudeBot, Claude-SearchBot und Claude-User?: ClaudeBot sammelt Inhalte für das Training der Claude-Modelle. Claude-SearchBot erfasst Inhalte, um die Suche in Claude zu verbessern. Claude-User ruft Seiten ab, wenn ein Nutzer Claude eine Frage stellt. Alle drei haben eigene Tokens in der robots.txt.
Wie sperre ich nur das Training, ohne in Claude unsichtbar zu werden?: Sperren Sie ClaudeBot mit „User-agent: ClaudeBot“ und „Disallow: /“ und lassen Sie Claude-SearchBot und Claude-User zu. So werden künftige Inhalte laut Anthropic aus dem Training ausgeschlossen, während Claude Ihre Seiten weiterhin abrufen kann.
Wie prüfe ich, ob ein Zugriff wirklich von Anthropic kommt?: Gleichen Sie die IP-Adresse des Zugriffs mit der von Anthropic veröffentlichten IP-Liste ab. Steht sie darauf, stammt der Crawler laut Anthropic tatsächlich von Anthropic. Den User-Agent allein sollten Sie nicht als Beweis nehmen.
Unterstützt ClaudeBot Crawl-delay?: Ja. Anthropic unterstützt nach eigenen Angaben die nicht standardisierte Anweisung Crawl-delay, zum Beispiel „Crawl-delay: 1“, um die Zugriffsfrequenz zu drosseln.
Hilft eine llms.txt bei Claude?: Die llms.txt ist ein freiwilliger Vorschlag, mit dem Sie KI-Systemen eine kompakte Übersicht Ihrer wichtigsten Inhalte anbieten. Ob und wie einzelne Anbieter sie auswerten, ist nicht verbindlich dokumentiert. Sie schadet nicht und ist schnell erstellt, etwa mit dem kostenlosen llms.txt-Generator von Nennbar.