KI-Crawler zulassen oder aussperren: So trennen Sie beides

Stellt jemand ChatGPT oder Gemini eine Frage, kann die Antwort Ihre Website als Quelle nennen. Damit das gelingt, ruft ein KI-Crawler Ihre Seiten ab, also ein Programm, das Websites selbsttätig findet und ausliest. Ein zweiter Crawler desselben Anbieters sammelt Texte für das Training der Modelle, und beide tragen unterschiedliche Namen.

Über die robots.txt im Stammverzeichnis Ihrer Domain sprechen Sie jeden Crawler mit seinem Namen an. Weil OpenAI, Anthropic und Google diese Namen veröffentlichen, lässt sich das Sammeln für das Training ausschließen, ohne den Abruf für die Suche zu berühren. Beides steht in derselben Datei, nur in getrennten Zeilen.

Welche KI-Crawler Ihre Seiten abrufen

OpenAI und Anthropic beschreiben ihre Crawler nach demselben Muster, und Google führt für das Training ein eigenes Token. Hinter jedem Namen steht genau eine Aufgabe.

• GPTBot, ClaudeBot und Google-Extended sammeln Material für das Training der Modelle,
• OAI-SearchBot und Claude-SearchBot versorgen die Suche innerhalb von ChatGPT und Claude,
• ChatGPT-User und Claude-User rufen eine Seite ab, sobald jemand im Gespräch danach fragt,
• OAI-AdsBot prüft die Zielseiten von Anzeigen.

Anthropic weist ausdrücklich darauf hin, dass eine Regel für ClaudeBot die Programme Claude-SearchBot und Claude-User unangetastet lässt. Sie können ClaudeBot also vom Sammeln ausschließen und Claude-SearchBot zugleich hereinlassen, damit Claude Ihre Seiten weiterhin als Quelle zeigt. Dasselbe gilt bei OpenAI für GPTBot und OAI-SearchBot. Anthropic unterstützt zusätzlich die Angabe Crawl-delay, die eine Wartezeit zwischen zwei Abrufen vorgibt und damit auf einem Server mit knapper Leistung für gleichmäßige Last sorgt. Der Zugang bleibt dabei offen, und die Abrufe verteilen sich über einen längeren Zeitraum.

Google unterscheidet die eigenen Zugriffe danach, wer sie auslöst und ob die robots.txt für sie gilt. Gängige Crawler wie der Googlebot halten sich durchgehend an die Datei, Sonderfall-Crawler wie der AdsBot arbeiten nach einer Vereinbarung zwischen Website und Produkt, und nutzerausgelöste Fetcher gehören zu Werkzeugen, bei denen ein Mensch den Abruf anstößt. Der Googlebot selbst besorgt weiterhin das Crawling für die klassische Suche.

Was beim Aussperren von KI-Crawlern geschieht

Google-Extended bleibt für die Aufnahme einer Website in die Google Suche folgenlos und dient dort auch nicht als Rankingsignal, so steht es in der Dokumentation. Das Sammeln für künftige Gemini-Modelle lässt sich damit ausschließen, während Ihre Seiten in den gewohnten Suchergebnissen stehen bleiben, denn beide Wege verlaufen bei Google vollständig getrennt.

Bei OAI-SearchBot und Claude-SearchBot verhält es sich umgekehrt. OpenAI hält fest, dass Websites, die OAI-SearchBot aussperren, in den Suchergebnissen von ChatGPT fehlen. Dort entscheidet sich, ob ein Unternehmen als Quelle zitiert wird, und dieses Ziel beschreibt der Begriff Generative Engine Optimization. Anders liegt es bei ChatGPT-User und Claude-User. Hier folgt ein Mensch einem Hinweis und lässt sich eine bestimmte Seite zeigen, ähnlich einem Klick in der Ergebnisliste. Ein offener Zugang bedeutet an dieser Stelle, dass Interessenten Ihre Angaben im Wortlaut lesen statt einer Zusammenfassung aus zweiter Hand.

Eine Sperre für das Sammeln kostet demnach keine Sichtbarkeit, eine Sperre für die Suchbots dagegen schon. Viele Websites lassen deshalb OAI-SearchBot, Claude-SearchBot, ChatGPT-User und Claude-User herein und halten GPTBot, ClaudeBot und Google-Extended draußen. Eine Markenerwähnung in einer KI-Antwort wirkt auch ohne Klick, wie es die Zero-Click-Suche beschreibt.

Die passenden Zeilen in der robots.txt

Jede Angabe beginnt mit der Zeile User-agent: und dem Namen des Crawlers. Darunter folgt Disallow: mit dem Pfad, den er meiden soll, oder Allow: mit dem Pfad, den er abrufen darf. Ein einzelner Schrägstrich steht dabei für die gesamte Website, und eine Leerzeile trennt den einen Namen vom nächsten.

Für GPTBot genügt damit ein Disallow: mit dem Schrägstrich, während OAI-SearchBot ein Allow: mit dem Schrägstrich bekommt. OpenAI hört damit auf, Texte für das Training zu sammeln, zeigt Ihre Seiten aber weiterhin in den Suchergebnissen von ChatGPT. Zwei kurze Angaben trennen also das eine vom anderen.

Wird ein Crawler mit Namen genannt, liest er ausschließlich die Zeilen unter seinem Namen, und Google dokumentiert das ausdrücklich. Ein Sternchen anstelle des Namens spricht alle übrigen Programme an, und diese Zeilen erreichen den namentlich genannten Crawler nicht mehr. An dieser Stelle verlieren viele Dateien ihre Wirkung. Sperren Sie etwa Ihre interne Suche beim Sternchen und legen darunter eine Zeile für GPTBot an, ruft GPTBot diese Suche weiterhin ab. Damit die Sperre auch ihn erreicht, gehört sie ein zweites Mal unter seinen Namen. Dieselbe Wiederholung braucht jedes weitere Programm, das Sie namentlich ansprechen.

Widersprechen sich zwei Zeilen, gewinnt nach Googles Darstellung die längere, bei gleicher Länge die weniger einschränkende. Eine schlanke Datei mit wenigen Namen erspart diese Auslegung. Sie schont nebenbei das Crawl-Budget, weil Crawler weniger Zeit auf Adressen ohne Suchwert verbringen. Geregelt wird damit allein der Abruf einer Seite. Die Anzeige in der Ergebnisliste regeln andere Angaben. Für diese zweite Frage sind das Meta-Tag noindex und der Antwortheader X-Robots-Tag vorgesehen, die eine bereits abgerufene Seite aus den Ergebnissen heraushalten. Zum Verbergen einer Seite führt deshalb die zweite Angabe zum Ziel.

Die Datei ist öffentlich und unter Ihrer Domain mit dem Zusatz robots.txt für jeden abrufbar. Ein Blick auf die eigene Fassung zeigt in wenigen Sekunden, welche Namen dort tatsächlich stehen, denn ein Tippfehler im Namen läuft ins Leere und führt den Crawler zurück zum Sternchen.

Fazit

GPTBot, ClaudeBot und Google-Extended sammeln für das Training, OAI-SearchBot und Claude-SearchBot versorgen die Suche, ChatGPT-User und Claude-User holen eine Seite auf Zuruf. Weil OpenAI, Anthropic und Google diese Namen veröffentlichen, lässt sich jede dieser Aufgaben für sich regeln. Eine Regel unter einem Namen wirkt allein auf dieses eine Programm.

Google hält ausdrücklich fest, dass Google-Extended die Aufnahme in die Suche und das Ranking offenlässt. Bei den Suchbots hängt die Sichtbarkeit in den Antworten dagegen unmittelbar daran, weshalb die Einstellungen in der robots.txt und der Linkaufbau für die KI-Suche zusammengehören. Maßgeblich bleiben in beiden Fällen die Zeilen unter dem passenden Namen.

Die Angaben geben den Stand vom 22. September 2026 wieder und beruhen auf den Entwicklerdokumentationen von OpenAI und Google sowie auf der Hilfeseite von Anthropic zu den eigenen Crawlern. Namen und Aufgaben der Bots ändern sich laufend, maßgeblich sind die Angaben des jeweiligen Anbieters.