Wie unterscheide ich Zugriffe von OAI-SearchBot in meinen Logs?

Der User-Agent enthält das Token „OAI-SearchBot“. Prüfen Sie zusätzlich, ob die IP-Adresse in der von OpenAI veröffentlichten IP-Liste steht, denn User-Agents lassen sich fälschen. Besucher, die über einen Link in ChatGPT kommen, erkennen Sie dagegen am Referrer in Ihrer Webanalyse.

Trainiert OpenAI mit den Daten von OAI-SearchBot?

Laut OpenAI nein. OAI-SearchBot dient der Suche in ChatGPT. Für Trainingsdaten gibt es GPTBot, der sich unabhängig sperren oder erlauben lässt.

Kann ich OAI-SearchBot erlauben und GPTBot sperren?

Ja. Beide haben eigene Tokens in der robots.txt. Viele Unternehmen erlauben OAI-SearchBot, um als Quelle in ChatGPT zu erscheinen, und entscheiden über GPTBot getrennt.

Wie lange dauert es, bis eine Änderung an der robots.txt wirkt?

OpenAI nennt für OAI-SearchBot etwa 24 Stunden, bis die Systeme eine geänderte robots.txt berücksichtigen.

Reicht eine Freigabe, damit ChatGPT mich zitiert?

Nein. Die Freigabe ist nur die Voraussetzung. Ob ChatGPT Ihre Seite als Quelle wählt, hängt von Inhalt, Struktur und davon ab, wie klar Ihr Unternehmen im Web beschrieben ist. Mit Nennbar sehen Sie, ob ChatGPT Ihre Marke bei typischen Kundenfragen nennt und welche Quellen es stattdessen zitiert.

nennbar

Anmelden Kostenlos prüfen

Offizielle Crawler-Dokumentation

OpenAI OAI-SearchBot

Der Crawler, mit dem OpenAI Websites für die Suche in ChatGPT indexiert

Empfehlung: Freigeben (Allow)

OAI-SearchBot ist der Crawler, mit dem OpenAI Websites für die Suchfunktionen in ChatGPT erfasst. Seiten, die er crawlen darf, können in ChatGPT-Antworten als Quelle mit Link erscheinen. Laut OpenAI werden die Inhalte nicht für das Training von Basismodellen verwendet – dafür ist GPTBot zuständig. Sperren Sie OAI-SearchBot, erscheinen Ihre Seiten nicht mehr als Quellen in den Suchantworten von ChatGPT; als reiner Navigationslink können sie laut OpenAI dennoch auftauchen. Änderungen an der robots.txt brauchen nach Angaben von OpenAI etwa 24 Stunden, bis sie wirken. Abrufe, die ein Nutzer direkt auslöst, laufen dagegen über den separaten Agenten ChatGPT-User.

Betreiber und Sitz: OpenAISan Francisco, USA
Crawler-Typ: Search-Crawler (Zitate & Traffic)
Offizielle IP-Listen: JSON-Endpoint (öffnet in neuem Tab)

Technische Konfiguration

User-Agent und robots.txt.

Vollständiger User-Agent String

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot

Empfohlener Eintrag in Ihrer robots.txt

Wurzelverzeichnis /robots.txt

# ChatGPT-Suche erlauben
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/

# Training kann separat geregelt werden
User-agent: GPTBot
Disallow: /

Wirkung im B2B

Auswirkungen auf die B2B-Sichtbarkeit im DACH-Raum.

Für B2B-Websites ist OAI-SearchBot der wichtigste OpenAI-Crawler, wenn es um Quellenlinks und Besuche aus ChatGPT geht. Eine Sperre – oft unbeabsichtigt durch eine pauschale Bot-Regel oder eine Firewall – nimmt Ihre Seiten aus den Suchantworten, während Wettbewerber weiter verlinkt werden.

Vorteile der Freigabe (Allow)

Ihre Seiten können in ChatGPT-Suchantworten als verlinkte Quelle erscheinen.
Besuche über diese Links kommen von Menschen, die sich gerade aktiv mit einer Frage beschäftigen.
Laut OpenAI werden die Inhalte nicht für das Training von Basismodellen genutzt.
User-Agent und IP-Liste sind öffentlich dokumentiert und damit überprüfbar.

Mögliche Risiken und Beachtenswertes

Pauschale Regeln wie „User-agent: *“ mit „Disallow: /“ sperren auch OAI-SearchBot.
Firewalls oder Bot-Schutzdienste blockieren KI-Crawler teils standardmäßig; prüfen Sie deren Einstellungen zusätzlich zur robots.txt.
Inhalte, die erst per JavaScript geladen werden, kann ein Crawler unter Umständen nicht vollständig erfassen.
Änderungen an der robots.txt wirken nicht sofort, sondern mit Verzögerung.

Fragen und Antworten

Häufige Fragen zu OpenAI OAI-SearchBot

Wie unterscheide ich Zugriffe von OAI-SearchBot in meinen Logs?: Der User-Agent enthält das Token „OAI-SearchBot“. Prüfen Sie zusätzlich, ob die IP-Adresse in der von OpenAI veröffentlichten IP-Liste steht, denn User-Agents lassen sich fälschen. Besucher, die über einen Link in ChatGPT kommen, erkennen Sie dagegen am Referrer in Ihrer Webanalyse.
Trainiert OpenAI mit den Daten von OAI-SearchBot?: Laut OpenAI nein. OAI-SearchBot dient der Suche in ChatGPT. Für Trainingsdaten gibt es GPTBot, der sich unabhängig sperren oder erlauben lässt.
Kann ich OAI-SearchBot erlauben und GPTBot sperren?: Ja. Beide haben eigene Tokens in der robots.txt. Viele Unternehmen erlauben OAI-SearchBot, um als Quelle in ChatGPT zu erscheinen, und entscheiden über GPTBot getrennt.
Wie lange dauert es, bis eine Änderung an der robots.txt wirkt?: OpenAI nennt für OAI-SearchBot etwa 24 Stunden, bis die Systeme eine geänderte robots.txt berücksichtigen.
Reicht eine Freigabe, damit ChatGPT mich zitiert?: Nein. Die Freigabe ist nur die Voraussetzung. Ob ChatGPT Ihre Seite als Quelle wählt, hängt von Inhalt, Struktur und davon ab, wie klar Ihr Unternehmen im Web beschrieben ist. Mit Nennbar sehen Sie, ob ChatGPT Ihre Marke bei typischen Kundenfragen nennt und welche Quellen es stattdessen zitiert.