Offizielle Crawler-Dokumentation

Google-Extended

Das robots.txt-Token, mit dem Sie die Nutzung Ihrer Inhalte für Gemini steuern

Empfehlung: Freigeben (Allow)

Google-Extended ist kein eigener Crawler, sondern ein eigenständiges Token für die robots.txt. Damit legen Sie fest, ob Inhalte, die Google ohnehin von Ihrer Website abruft, für das Training künftiger Gemini-Modelle verwendet werden dürfen. Nach Googles Dokumentation betrifft das auch das sogenannte Grounding, also die Nutzung von Inhalten aus dem Google-Index zur Laufzeit, in Gemini-Apps und bei Grounding mit der Google-Suche auf Vertex AI. Abgerufen wird weiterhin mit den bekannten Google-User-Agents; das Token wirkt nur als Steuerungssignal. Google stellt klar, dass Google-Extended weder die Aufnahme einer Website in die Google-Suche beeinflusst noch als Ranking-Signal verwendet wird.

Betreiber und Sitz
GoogleMountain View, USA
Crawler-Typ
Modell-Training

Technische Konfiguration

User-Agent und robots.txt.

Vollständiger User-Agent String

Kein eigener User-Agent: „Google-Extended“ ist nur ein Token in der robots.txt. Abgerufen wird mit den regulären Google-Crawlern.

Empfohlener Eintrag in Ihrer robots.txt

Wurzelverzeichnis /robots.txt
# Nutzung für Gemini erlauben
User-agent: Google-Extended
Allow: /

# Alternative: Nutzung für Gemini ausschließen
# User-agent: Google-Extended
# Disallow: /

# Die Google-Suche bleibt davon unberührt
User-agent: Googlebot
Allow: /

Wirkung im B2B

Auswirkungen auf die B2B-Sichtbarkeit im DACH-Raum.

Wichtig für die Einordnung: Ein Disallow für Google-Extended ändert nichts an Ihrem Ranking in der Google-Suche. Die KI-Funktionen innerhalb der Google-Suche werden über den regulären Googlebot gesteuert, nicht über dieses Token. Google-Extended betrifft Gemini-Modelle und Gemini-Apps. Wer dort mit seinen Inhalten präsent sein will, lässt das Token zu.

Vorteile der Freigabe (Allow)

  • Ihre Inhalte können für Gemini-Modelle und Antworten in Gemini-Apps genutzt werden.
  • Saubere Trennung: Die Einstellung wirkt nicht auf Aufnahme oder Ranking in der Google-Suche.
  • Keine zusätzliche Serverlast, weil kein eigener Crawler unterwegs ist.

Mögliche Risiken und Beachtenswertes

  • Das Token wird häufig mit Googlebot verwechselt; eine Sperre von Googlebot würde die Google-Suche betreffen.
  • Wer Google-Extended sperrt, schließt Inhalte nicht nur vom Training aus, sondern laut Google auch vom Grounding in Gemini-Apps.
  • Ein Disallow wirkt nur für die Zukunft, nicht auf bereits trainierte Modelle.

Fragen und Antworten

Häufige Fragen zu Google-Extended

Verliere ich mein Google-Ranking, wenn ich Google-Extended blockiere?
Nein. Laut Google beeinflusst Google-Extended weder die Aufnahme in die Google-Suche noch wird es als Ranking-Signal verwendet. Die Suche wird weiterhin über Googlebot gesteuert.
Steuert Google-Extended die KI-Übersichten in der Google-Suche?
Nein. Die KI-Funktionen der Google-Suche gehören zur Suche und werden über den regulären Googlebot gesteuert. Google-Extended betrifft Gemini-Modelle, Gemini-Apps und Grounding auf Vertex AI.
Warum finde ich „Google-Extended“ nicht in meinen Server-Logs?
Weil es keinen eigenen User-Agent gibt. Google ruft Ihre Seiten mit den bekannten Crawlern ab; Google-Extended ist nur ein Token, mit dem Sie in der robots.txt die weitere Nutzung steuern.
Wie schließe ich meine Inhalte von Gemini aus?
Tragen Sie „User-agent: Google-Extended“ und „Disallow: /“ in die robots.txt ein. Ihre Einträge für Googlebot lassen Sie unverändert, damit die Google-Suche nicht betroffen ist.
Wie sehe ich, ob Gemini meine Marke nennt?
Stellen Sie Gemini eine typische Einkaufsfrage Ihrer Kunden und prüfen Sie die Antwort. Nennbar fragt Gemini und bis zu sieben weitere KIs live und zeigt, ob Ihre Marke genannt wird und welche Wettbewerber und Quellen auftauchen.