AI-Crawler- und Bot-Verzeichnis: Erlauben oder blockieren?

Empfehlung: Allow

GPTBot ist der Web-Crawler, mit dem OpenAI öffentlich zugängliche Inhalte sammelt, die für das Training künftiger Sprachmodelle verwendet werden können. Er beantwortet keine Nutzerfragen in Echtzeit und erzeugt keine Quellenlinks in ChatGPT – dafür sind die separaten Agenten OAI-SearchBot (Suchindex) und ChatGPT-User (Abrufe, die ein Nutzer auslöst) zuständig. Laut OpenAI signalisiert ein Disallow für GPTBot in der robots.txt, dass die Inhalte Ihrer Website nicht für das Training verwendet werden sollen. Bereits trainierte Modelle vergessen Ihre Inhalte dadurch allerdings nicht, und die Sperre wirkt nur für künftige Crawls. Weil jeder OpenAI-Agent ein eigenes robots.txt-Token hat, können Sie das Training ausschließen und trotzdem in der ChatGPT-Suche erscheinen.

Empfehlung: Allow

OAI-SearchBot ist der Crawler, mit dem OpenAI Websites für die Suchfunktionen in ChatGPT erfasst. Seiten, die er crawlen darf, können in ChatGPT-Antworten als Quelle mit Link erscheinen. Laut OpenAI werden die Inhalte nicht für das Training von Basismodellen verwendet – dafür ist GPTBot zuständig. Sperren Sie OAI-SearchBot, erscheinen Ihre Seiten nicht mehr als Quellen in den Suchantworten von ChatGPT; als reiner Navigationslink können sie laut OpenAI dennoch auftauchen. Änderungen an der robots.txt brauchen nach Angaben von OpenAI etwa 24 Stunden, bis sie wirken. Abrufe, die ein Nutzer direkt auslöst, laufen dagegen über den separaten Agenten ChatGPT-User.

Empfehlung: Allow

PerplexityBot erfasst Websites, damit Perplexity sie in seinen Antworten als Quellen anzeigen und verlinken kann. Laut Perplexity wird er nicht eingesetzt, um Inhalte für das Training von KI-Basismodellen zu sammeln. Daneben gibt es den Agenten Perplexity-User: Er ruft eine Seite ab, wenn eine konkrete Nutzerfrage das erfordert, und beachtet die robots.txt nach Angaben von Perplexity in der Regel nicht, weil der Abruf von einem Menschen ausgelöst wird. Perplexity zeigt seine Quellen nummeriert zu jeder Antwort an. Wer dort genannt wird, bekommt also einen sichtbaren Link. Änderungen an der robots.txt können laut Perplexity bis zu 24 Stunden brauchen, bis sie berücksichtigt werden.

Empfehlung: Allow

ClaudeBot ist der Crawler, mit dem Anthropic öffentlich zugängliche Web-Inhalte für das Training seiner Claude-Modelle sammelt. Wird ClaudeBot in der robots.txt gesperrt, sollen laut Anthropic künftige Inhalte Ihrer Website aus den Trainingsdaten ausgeschlossen werden. Anthropic betreibt zwei weitere Agenten mit eigenen Tokens: Claude-SearchBot erfasst Inhalte, um die Suchergebnisse in Claude zu verbessern, und Claude-User ruft Seiten ab, wenn ein Nutzer Claude eine Frage stellt, die das erfordert. Eine Sperre dieser beiden kann laut Anthropic die Sichtbarkeit Ihrer Website in Claude verringern. Anthropic beachtet die robots.txt und unterstützt zusätzlich die nicht standardisierte Anweisung Crawl-delay.

Empfehlung: Allow

Google-Extended ist kein eigener Crawler, sondern ein eigenständiges Token für die robots.txt. Damit legen Sie fest, ob Inhalte, die Google ohnehin von Ihrer Website abruft, für das Training künftiger Gemini-Modelle verwendet werden dürfen. Nach Googles Dokumentation betrifft das auch das sogenannte Grounding, also die Nutzung von Inhalten aus dem Google-Index zur Laufzeit, in Gemini-Apps und bei Grounding mit der Google-Suche auf Vertex AI. Abgerufen wird weiterhin mit den bekannten Google-User-Agents; das Token wirkt nur als Steuerungssignal. Google stellt klar, dass Google-Extended weder die Aufnahme einer Website in die Google-Suche beeinflusst noch als Ranking-Signal verwendet wird.

Empfehlung: Allow

Mistral AI aus Paris betreibt drei getrennte Agenten mit eigenen Tokens. MistralAI-Index crawlt das Web laut Mistral ausschließlich zur Indexierung und nicht für das Training generativer KI. MistralAI-User ruft eine Seite ab, wenn eine Nutzerfrage an den Mistral-Assistenten das erfordert; auch diese Inhalte werden laut Mistral nicht für das Training verwendet. MistralAI-Training schließlich sammelt Inhalte, die für das Training von Mistral-Modellen genutzt werden. Alle drei lassen sich in der robots.txt einzeln erlauben oder sperren. Für MistralAI-Index und MistralAI-User veröffentlicht Mistral IP-Listen, mit denen Sie Zugriffe überprüfen können.