Offizielle Crawler-Dokumentation
Mistral AI Crawler
Die drei Agenten von Mistral AI: Index, Nutzerabruf und Training
Empfehlung: Freigeben (Allow)
Mistral AI aus Paris betreibt drei getrennte Agenten mit eigenen Tokens. MistralAI-Index crawlt das Web laut Mistral ausschließlich zur Indexierung und nicht für das Training generativer KI. MistralAI-User ruft eine Seite ab, wenn eine Nutzerfrage an den Mistral-Assistenten das erfordert; auch diese Inhalte werden laut Mistral nicht für das Training verwendet. MistralAI-Training schließlich sammelt Inhalte, die für das Training von Mistral-Modellen genutzt werden. Alle drei lassen sich in der robots.txt einzeln erlauben oder sperren. Für MistralAI-Index und MistralAI-User veröffentlicht Mistral IP-Listen, mit denen Sie Zugriffe überprüfen können.
- Betreiber und Sitz
- Mistral AIParis, Frankreich
- Crawler-Typ
- Hybrid
- Offizielle IP-Listen
- JSON-Endpoint (öffnet in neuem Tab)
Technische Konfiguration
User-Agent und robots.txt.
Vollständiger User-Agent String
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-Index/1.0; +https://docs.mistral.ai/robots)
Empfohlener Eintrag in Ihrer robots.txt
Wurzelverzeichnis/robots.txt# Indexierung und Nutzerabrufe erlauben
User-agent: MistralAI-Index
Allow: /
User-agent: MistralAI-User
Allow: /
# Training separat regeln
User-agent: MistralAI-Training
Allow: /
# oder: Disallow: /Wirkung im B2B
Auswirkungen auf die B2B-Sichtbarkeit im DACH-Raum.
Mistral ist einer der wenigen großen KI-Anbieter mit Sitz in Europa und wird deshalb gerade in Organisationen mit hohen Anforderungen an den Datenstandort genutzt. Wer dort als Anbieter auftauchen möchte, sollte MistralAI-Index und MistralAI-User zulassen. Über MistralAI-Training entscheiden Sie unabhängig davon.
Vorteile der Freigabe (Allow)
- Ihre Seiten können in Antworten des Mistral-Assistenten berücksichtigt werden.
- Index, Nutzerabruf und Training lassen sich getrennt steuern.
- Laut Mistral werden Inhalte von MistralAI-Index und MistralAI-User nicht für das Training verwendet.
- Veröffentlichte IP-Listen für Index- und Nutzer-Agent ermöglichen eine Prüfung echter Zugriffe.
Mögliche Risiken und Beachtenswertes
- Wer nur „MistralAI-Training“ sperrt, bleibt indexierbar – wer dagegen alle drei sperrt, fällt aus den Antworten.
- Die Tokens sind vergleichsweise neu und fehlen in vielen vorgefertigten robots.txt-Vorlagen.
- Für MistralAI-Training ist in der Dokumentation keine IP-Liste angegeben.
Fragen und Antworten
Häufige Fragen zu Mistral AI Crawler
- Welche Crawler betreibt Mistral AI?
- Drei: MistralAI-Index für die Indexierung, MistralAI-User für Abrufe bei konkreten Nutzerfragen und MistralAI-Training für das Sammeln von Trainingsdaten. Die Details dokumentiert Mistral auf seiner Robots-Seite.
- Wie schließe ich meine Inhalte vom Mistral-Training aus?
- Tragen Sie „User-agent: MistralAI-Training“ und „Disallow: /“ in die robots.txt ein. MistralAI-Index und MistralAI-User können Sie weiterhin zulassen, damit Ihre Seiten in Antworten berücksichtigt werden können.
- Wie prüfe ich, ob ein Zugriff wirklich von Mistral stammt?
- Gleichen Sie die IP-Adresse mit den von Mistral veröffentlichten Listen für MistralAI-Index und MistralAI-User ab. Der User-Agent allein reicht als Nachweis nicht.
- Fragt Nennbar auch Mistral ab?
- Ja, im Pro-Tarif. Der kostenlose Scan fragt ChatGPT, Gemini, Perplexity und Claude; der Pro-Tarif ergänzt Mistral, Google AI Overviews, Google AI Mode und Microsoft Copilot. Nennbar stellt typische Käuferfragen und zeigt, ob Ihre Marke genannt wird. Die Nennbar-Server und die Datenbank stehen in Frankfurt.
Weiterlesen
Passend zum Thema
- Glossar: Robots.txt AI DirectivesSpezifische Steuerungsanweisungen in der robots.txt zur Zulassung oder Blockierung einzelner KI-Crawler wie GPTBot…
- Glossar: llms.txtEin offener Vorschlag für eine Datei, die KI-Modellen und RAG-Systemen strukturierte, maschinenlesbare…
- llms.txt-GeneratorErstellen Sie kostenlos eine llms.txt, die KIs zeigt, welche Seiten wichtig sind.
- OpenAI GPTBotDer Crawler, mit dem OpenAI Inhalte für das Training seiner KI-Modelle sammelt
- OpenAI OAI-SearchBotDer Crawler, mit dem OpenAI Websites für die Suche in ChatGPT indexiert
- PerplexityBotDer Crawler, mit dem Perplexity Websites als Quellen für seine Antworten erfasst