Sollte ein B2B-Unternehmen GPTBot blockieren?

Das hängt davon ab, wie sensibel Ihre öffentlichen Inhalte sind. Für die meisten Marketing- und Produktseiten spricht wenig gegen eine Freigabe, weil Modelle Ihr Unternehmen so besser kennen können. Wenn Sie Inhalte nicht im Training sehen möchten, sperren Sie GPTBot gezielt und lassen OAI-SearchBot zu – dann bleiben Sie in der ChatGPT-Suche sichtbar.

Was ist der Unterschied zwischen GPTBot, OAI-SearchBot und ChatGPT-User?

GPTBot sammelt Inhalte, die für das Training von Modellen verwendet werden können. OAI-SearchBot baut den Index auf, aus dem die Suchfunktion von ChatGPT Websites als Quellen anzeigt; OpenAI nutzt ihn nach eigener Aussage nicht für das Training. ChatGPT-User ruft Seiten ab, wenn ein Nutzer in ChatGPT eine Aktion auslöst; für solche nutzerinitiierten Abrufe gilt die robots.txt laut OpenAI unter Umständen nicht.

Wie sperre ich GPTBot vollständig?

Tragen Sie in die robots.txt im Wurzelverzeichnis „User-agent: GPTBot“ und darunter „Disallow: /“ ein. Die Regel gilt nur für GPTBot; OAI-SearchBot und andere Crawler brauchen eigene Einträge.

Wie erkenne ich echte GPTBot-Zugriffe in meinen Server-Logs?

Filtern Sie die Logs nach dem Token „GPTBot“ im User-Agent und gleichen Sie die IP-Adresse mit der von OpenAI veröffentlichten IP-Liste ab. Da jeder den User-Agent fälschen kann, ist erst die IP-Prüfung ein verlässlicher Nachweis. Die Versionsnummer im User-Agent ändert sich gelegentlich, filtern Sie daher auf den Namen, nicht auf die Version.

Werde ich aus ChatGPT entfernt, wenn ich GPTBot sperre?

Nein, nicht aus der Suche. Die Sperre betrifft das Training künftiger Modelle. Ob ChatGPT Ihre Seiten in Suchergebnissen zeigt, steuern Sie über OAI-SearchBot. Was ein bereits trainiertes Modell über Sie weiß, ändert die Sperre nicht.

Wie finde ich heraus, ob ChatGPT meine Marke überhaupt nennt?

Stellen Sie typische Einkaufsfragen Ihrer Zielgruppe und prüfen Sie, ob Ihre Marke in der Antwort vorkommt. Nennbar erledigt das für bis zu acht KIs gleichzeitig, darunter ChatGPT, und zeigt, welche Wettbewerber und Quellen stattdessen genannt werden. Der erste Scan ist kostenlos.

nennbar

Anmelden Kostenlos prüfen

Offizielle Crawler-Dokumentation

OpenAI GPTBot

Der Crawler, mit dem OpenAI Inhalte für das Training seiner KI-Modelle sammelt

Empfehlung: Freigeben (Allow)

GPTBot ist der Web-Crawler, mit dem OpenAI öffentlich zugängliche Inhalte sammelt, die für das Training künftiger Sprachmodelle verwendet werden können. Er beantwortet keine Nutzerfragen in Echtzeit und erzeugt keine Quellenlinks in ChatGPT – dafür sind die separaten Agenten OAI-SearchBot (Suchindex) und ChatGPT-User (Abrufe, die ein Nutzer auslöst) zuständig. Laut OpenAI signalisiert ein Disallow für GPTBot in der robots.txt, dass die Inhalte Ihrer Website nicht für das Training verwendet werden sollen. Bereits trainierte Modelle vergessen Ihre Inhalte dadurch allerdings nicht, und die Sperre wirkt nur für künftige Crawls. Weil jeder OpenAI-Agent ein eigenes robots.txt-Token hat, können Sie das Training ausschließen und trotzdem in der ChatGPT-Suche erscheinen.

Betreiber und Sitz: OpenAISan Francisco, USA
Crawler-Typ: Modell-Training
Offizielle IP-Listen: JSON-Endpoint (öffnet in neuem Tab)

Technische Konfiguration

User-Agent und robots.txt.

Vollständiger User-Agent String

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Empfohlener Eintrag in Ihrer robots.txt

Wurzelverzeichnis /robots.txt

# Training erlauben, interne Bereiche ausnehmen
User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /intern/

# Alternative: Training komplett ausschließen
# User-agent: GPTBot
# Disallow: /

# Unabhängig davon: ChatGPT-Suche erlauben
User-agent: OAI-SearchBot
Allow: /

Wirkung im B2B

Auswirkungen auf die B2B-Sichtbarkeit im DACH-Raum.

Für B2B-Unternehmen ist GPTBot eine Abwägung, keine Pflicht: Wer ihn zulässt, erhöht die Chance, dass künftige Modelle Marke, Leistungen und Einsatzgebiete auch ohne Websuche kennen. Wer ihn sperrt, schützt Inhalte vor dem Training, bleibt aber über OAI-SearchBot weiterhin in der ChatGPT-Suche auffindbar. Entscheidend ist, die beiden Tokens nicht zu verwechseln.

Vorteile der Freigabe (Allow)

Inhalte zu Marke, Produkten und Referenzen können in das Wissen künftiger OpenAI-Modelle einfließen.
Modelle können Ihr Unternehmen bei allgemeinen Fragen („Welche Anbieter gibt es für …?“) auch ohne Live-Websuche kennen.
OpenAI dokumentiert User-Agent und IP-Bereiche öffentlich, sodass sich echte GPTBot-Zugriffe von Fälschungen unterscheiden lassen.
Der Bot beachtet die robots.txt; einzelne Verzeichnisse lassen sich gezielt ausnehmen.

Mögliche Risiken und Beachtenswertes

Inhalte werden für das Training genutzt, ohne dass daraus ein Link oder Besuch auf Ihrer Website folgt.
Ein späteres Disallow entfernt Inhalte nicht aus Modellen, die bereits trainiert wurden.
Bei großen Websites kann das Crawl-Volumen spürbar sein; Caching und saubere Statuscodes helfen.
Wer versehentlich den ganzen OpenAI-Verkehr sperrt (etwa per Firewall-Regel), verliert auch die Suche über OAI-SearchBot.

Fragen und Antworten

Häufige Fragen zu OpenAI GPTBot

Sollte ein B2B-Unternehmen GPTBot blockieren?: Das hängt davon ab, wie sensibel Ihre öffentlichen Inhalte sind. Für die meisten Marketing- und Produktseiten spricht wenig gegen eine Freigabe, weil Modelle Ihr Unternehmen so besser kennen können. Wenn Sie Inhalte nicht im Training sehen möchten, sperren Sie GPTBot gezielt und lassen OAI-SearchBot zu – dann bleiben Sie in der ChatGPT-Suche sichtbar.
Was ist der Unterschied zwischen GPTBot, OAI-SearchBot und ChatGPT-User?: GPTBot sammelt Inhalte, die für das Training von Modellen verwendet werden können. OAI-SearchBot baut den Index auf, aus dem die Suchfunktion von ChatGPT Websites als Quellen anzeigt; OpenAI nutzt ihn nach eigener Aussage nicht für das Training. ChatGPT-User ruft Seiten ab, wenn ein Nutzer in ChatGPT eine Aktion auslöst; für solche nutzerinitiierten Abrufe gilt die robots.txt laut OpenAI unter Umständen nicht.
Wie sperre ich GPTBot vollständig?: Tragen Sie in die robots.txt im Wurzelverzeichnis „User-agent: GPTBot“ und darunter „Disallow: /“ ein. Die Regel gilt nur für GPTBot; OAI-SearchBot und andere Crawler brauchen eigene Einträge.
Wie erkenne ich echte GPTBot-Zugriffe in meinen Server-Logs?: Filtern Sie die Logs nach dem Token „GPTBot“ im User-Agent und gleichen Sie die IP-Adresse mit der von OpenAI veröffentlichten IP-Liste ab. Da jeder den User-Agent fälschen kann, ist erst die IP-Prüfung ein verlässlicher Nachweis. Die Versionsnummer im User-Agent ändert sich gelegentlich, filtern Sie daher auf den Namen, nicht auf die Version.
Werde ich aus ChatGPT entfernt, wenn ich GPTBot sperre?: Nein, nicht aus der Suche. Die Sperre betrifft das Training künftiger Modelle. Ob ChatGPT Ihre Seiten in Suchergebnissen zeigt, steuern Sie über OAI-SearchBot. Was ein bereits trainiertes Modell über Sie weiß, ändert die Sperre nicht.
Wie finde ich heraus, ob ChatGPT meine Marke überhaupt nennt?: Stellen Sie typische Einkaufsfragen Ihrer Zielgruppe und prüfen Sie, ob Ihre Marke in der Antwort vorkommt. Nennbar erledigt das für bis zu acht KIs gleichzeitig, darunter ChatGPT, und zeigt, welche Wettbewerber und Quellen stattdessen genannt werden. Der erste Scan ist kostenlos.