KI-Crawler sind automatische Programme, mit denen Anbieter von KI-Systemen Websites abrufen, entweder um Trainingsdaten zu sammeln oder um Antworten auf aktuelle Fragen per Live-Suche zu belegen. Die bekanntesten heissen GPTBot und OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity) und Google-Extended (Google). Website-Betreiber steuern über die Datei robots.txt, welche dieser Crawler zugreifen dürfen.
Was KI-Crawler bedeutet
Ein Crawler ist ein Programm, das Webseiten automatisch aufruft und liest. Google tut das seit Jahrzehnten mit dem Googlebot, um seinen Suchindex zu füllen. Seit 2023 sind die KI-Anbieter dazugekommen, jeder mit eigenen Crawlern und eigenen Zwecken.
Grob unterscheidet man zwei Aufgaben. Training: Crawler wie GPTBot oder ClaudeBot sammeln Texte, aus denen künftige Modelle lernen. Was hier eingeht, wirkt erst in der nächsten Modellgeneration. Live-Abruf: Crawler wie OAI-SearchBot oder PerplexityBot holen Seiten in dem Moment, in dem ein Nutzer eine Frage stellt, und das System zitiert sie in der Antwort. Dieser Weg ist für Unternehmen der wichtigere, weil er sofort wirkt.
Die wichtigsten Namen (Stand Oktober 2026): GPTBot, OAI-SearchBot und ChatGPT-User von OpenAI; ClaudeBot von Anthropic; PerplexityBot von Perplexity; Google-Extended, mit dem Google die Nutzung für Gemini-Training steuert. Alle diese Anbieter dokumentieren, dass ihre Crawler die Regeln in der robots.txt beachten.
Ein Beispiel aus dem KMU-Alltag
Eine Anwaltskanzlei in Winterthur stellt fest, dass sie bei Fragen nach Arbeitsrecht in ChatGPT nie erscheint, obwohl die Website umfangreiche Ratgeber enthält. Der Webdesigner prüft die robots.txt und findet eine Zeile, die vor zwei Jahren eingefügt wurde: User-agent: * Disallow: / für alle Bots ausser Googlebot. Damit sind alle KI-Crawler ausgesperrt.
Die Kanzlei entscheidet sich für einen Mittelweg: OAI-SearchBot, PerplexityBot und ClaudeBot dürfen alles lesen, GPTBot bleibt vom Mandantenbereich ausgeschlossen. Nach wenigen Wochen wird die Kanzlei bei Perplexity als Quelle für Fragen zur Kündigung in der Probezeit genannt.
Warum das für Ihr Unternehmen zählt
Die robots.txt ist in den meisten Firmen eine vergessene Datei, die der Webdesigner einmal angelegt hat. Doch sie entscheidet inzwischen, ob Sie in KI-Antworten vorkommen können. Zwei Minuten reichen für die Prüfung: Rufen Sie ihre-domain.ch/robots.txt auf und suchen Sie nach den Namen oben. Die Anleitung dazu steht unter Können KI-Crawler Ihre Website lesen?.
Dazu kommt: Sicherheits-Plugins und Firewalls blockieren unbekannte Bots oft automatisch, ohne dass die robots.txt das zeigt. Ein Blick in die Server-Logs schafft Klarheit.
Häufige Missverständnisse
Ein Crawler-Zugang garantiert keine Nennung. Er ist die Voraussetzung, nicht das Ergebnis. Ob eine Seite zitiert wird, hängt davon ab, ob sie die Frage klar beantwortet. Und: Das Sperren von GPTBot verhindert nicht, dass ChatGPT Ihre Website per Live-Suche findet; dafür ist OAI-SearchBot zuständig. Wer wirklich gar nicht vorkommen will, muss beide sperren.
Häufige Fragen
Soll ich KI-Crawler blockieren?
Wer blockiert, erscheint in den Antworten dieser Systeme nicht als Quelle. Für die meisten KMU, die gefunden werden wollen, ist das ein Nachteil. Sinnvoll kann eine Sperre nur für geschützte Inhalte sein, etwa Kundenbereiche oder Fachtexte, die man nicht kostenlos weitergeben will.
Wie sehe ich, ob KI-Crawler meine Website besuchen?
In den Zugriffsprotokollen des Servers erscheinen die Crawler mit ihrem Namen im User-Agent, etwa «GPTBot» oder «PerplexityBot». Bei vielen Hostern gibt es dafür eine Statistik. Fehlen die Einträge über Wochen, ist der Zugang oft durch eine Firewall oder ein Plugin blockiert.
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
OpenAI dokumentiert zwei getrennte Crawler. GPTBot sammelt Inhalte, die ins Training künftiger Modelle fliessen können. OAI-SearchBot holt Seiten für die Suchfunktion von ChatGPT und zeigt sie als Quelle an. Man kann den einen sperren und den anderen zulassen.