Öffnen Sie ihre-domain.ch/robots.txt und suchen Sie nach den Namen GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und Google-Extended: Steht unter einem Namen «Disallow: /», ist dieser Crawler ausgesperrt. Danach prüfen Sie, ob der Seitentext auch ohne JavaScript im Quelltext steht und ob kein Login, keine Cookie-Wand und kein Bot-Schutz den Inhalt verdeckt. Für Sichtbarkeit in KI-Antworten müssen mindestens die Such-Crawler der Anbieter durchkommen.
Bevor eine KI Ihre Website zitieren kann, muss sie sie lesen dürfen. Das klingt selbstverständlich, scheitert aber häufiger, als man denkt: an einer Zeile in der robots.txt, die eine Agentur 2023 vorsorglich eingetragen hat, an einem Website-Baukasten, der Text erst per JavaScript nachlädt, oder an einem Bot-Schutz, der seit dem letzten Hosting-Update eingeschaltet ist. Der folgende Test braucht keinen Entwickler und dauert zwei Minuten für den ersten Schritt, zehn für alle vier.
Schritt 1: robots.txt lesen
Tippen Sie in die Adresszeile Ihres Browsers ihre-domain.ch/robots.txt. Die Datei ist öffentlich und besteht aus Blöcken, die mit User-agent: beginnen. Suchen Sie mit der Tastenkombination Ctrl+F (Mac: Cmd+F) nach diesen Namen:
| Crawler | Betreiber | Zweck laut Anbieter | Folge bei Sperre |
|---|---|---|---|
| GPTBot | OpenAI | Sammeln von Inhalten für das Training der Modelle | Inhalte fliessen nicht ins Training; Suchantworten sind nicht betroffen |
| OAI-SearchBot | OpenAI | Index für die Suche in ChatGPT | Website erscheint nicht als Quelle in ChatGPT-Suchantworten |
| ChatGPT-User | OpenAI | Abruf einer Seite, wenn ein Nutzer im Chat danach fragt | Seite kann im Gespräch nicht geöffnet werden |
| ClaudeBot | Anthropic | Sammeln von Inhalten für das Training | Wie GPTBot |
| Claude-SearchBot, Claude-User | Anthropic | Suche und Abruf auf Nutzeranfrage | Website fehlt in Claude-Antworten mit Websuche |
| PerplexityBot | Perplexity | Index für die Perplexity-Suche | Website erscheint nicht als Quelle bei Perplexity |
| Perplexity-User | Perplexity | Abruf auf Nutzeranfrage | Seite kann nicht geöffnet werden |
| Google-Extended | Steuert Nutzung für Gemini-Anwendungen | Keine Auswirkung auf Google-Suche und KI-Übersicht |
Entscheidend ist, was unter dem jeweiligen Namen steht. Dieser Block sperrt den Trainings-Crawler von OpenAI vollständig und lässt den Such-Crawler durch:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Fehlt ein Name ganz, gilt der allgemeine Block User-agent: *. Steht dort Disallow: /, ist alles gesperrt, auch für Google. Steht dort nur Disallow: /admin/ oder Ähnliches, sind die KI-Crawler frei. Was die Datei grundsätzlich kann und was nicht, erklärt das Glossar zur robots.txt.
Schritt 2: Der JavaScript-Test
Google rendert JavaScript und sieht deshalb auch Text, der erst im Browser entsteht. Ob die Crawler von OpenAI, Anthropic und Perplexity JavaScript ausführen, dokumentieren die Anbieter nicht. Gehen Sie davon aus, dass sie es nicht tun, und prüfen Sie, was ohne JavaScript übrig bleibt:
- Öffnen Sie eine wichtige Seite, zum Beispiel Ihre Leistungsseite.
- Rufen Sie den Quelltext auf: Rechtsklick, «Seitenquelltext anzeigen», oder
view-source:vor die Adresse setzen. - Suchen Sie mit Ctrl+F nach einem Satz aus dem sichtbaren Text, etwa dem ersten Satz Ihrer Leistungsbeschreibung.
Finden Sie den Satz im Quelltext, ist der Inhalt für jeden Crawler lesbar. Finden Sie ihn nicht, sondern nur Skript-Verweise und leere Container, liefert Ihre Website den Text erst nachträglich aus. Das betrifft vor allem Websites, die als reine Web-App gebaut sind, und manche Baukästen mit «dynamischen» Inhaltsblöcken. Die Lösung heisst serverseitiges Rendern oder statische Auslieferung und ist ein Auftrag an die Technik, kein Fünf-Minuten-Fix.
Schritt 3: Login, Cookie-Wand, Zwischenseiten
Crawler klicken nichts weg. Prüfen Sie drei Dinge:
- Login-Wand: Liegt Ratgeberinhalt hinter einer Registrierung, existiert er für die KI nicht. Entweder öffnen oder bewusst als Kundenbereich akzeptieren.
- Cookie-Wand: Ein Banner, das den Inhalt nur überlagert, ist unproblematisch. Eine Wand, die den Inhalt erst nach Zustimmung ausliefert, verdeckt ihn auch für Crawler. Testen Sie es mit dem Quelltext-Trick aus Schritt 2.
- Zwischenseiten: Altersabfragen, Sprachwahl-Seiten ohne direkten Pfad zum Inhalt und «Bitte warten»-Seiten brechen den Zugriff ab. Jede wichtige Seite muss ohne Umweg unter ihrer Adresse erreichbar sein.
Schritt 4: Bot-Schutz des Hosters
Viele Hoster und Dienste wie Cloudflare bieten einen Schalter, der bekannte KI-Crawler blockiert, teils standardmässig. Die robots.txt ist dann korrekt, der Crawler wird trotzdem mit einem Fehler 403 abgewiesen. So finden Sie es heraus:
- Suchen Sie im Hosting- oder Cloudflare-Dashboard nach Einstellungen mit Begriffen wie «AI Bots», «Bot Fight Mode» oder «KI-Crawler blockieren».
- Lassen Sie sich von der Technik die Server-Logs der letzten Woche nach den User-Agents aus der Tabelle filtern. Antworten mit Status 200 bedeuten Zugang, 403 bedeutet Sperre.
- Fragen Sie beim Hoster nach, falls Sie keinen Zugriff auf Logs haben. Die Frage «Blockieren Sie GPTBot, OAI-SearchBot und PerplexityBot auf meiner Website?» lässt sich in einem Satz beantworten.
Erlauben oder sperren? Die Entscheidungshilfe
Die Frage hat zwei Ebenen: Training und Suche. Sie lassen sich getrennt beantworten.
| Ihr Ziel | Trainings-Crawler (GPTBot, ClaudeBot) | Such- und Nutzer-Crawler (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot) |
|---|---|---|
| In KI-Antworten als Anbieter vorkommen | Ihre Entscheidung, kein direkter Einfluss auf Nennungen | Erlauben |
| Inhalte vor Nachahmung schützen | Sperren möglich, ohne Sichtbarkeit zu verlieren | Erlauben, sonst keine Quellenangabe |
| Kundenbereich oder bezahlte Inhalte | Sperren per Pfad, z. B. /kunden/ | Sperren per Pfad |
| Vollständig unsichtbar bleiben | Sperren | Sperren, mit Wissen, dass Mitbewerber dann die Antwort liefern |
Für die meisten KMU ist die Antwort einfach: Such-Crawler durchlassen, beim Training nach Bauchgefühl entscheiden. Welche Strategien sich daraus für die Sichtbarkeit ergeben, beschreibt der Beitrag In KI-Antworten vorkommen: drei Strategien für KMU.
Was der Test nicht zeigt
Der Test sagt, ob eine KI lesen darf. Er sagt nicht, ob sie zitiert. Dafür muss die Seite die Antwort auch liefern: oben, klar, mit Datum und Absender. Was dazu gehört, steht in der AEO-Checkliste. Und ob ChatGPT, Perplexity und Gemini Ihre Website heute tatsächlich finden, zeigt der kostenlose KI-Check in rund einer Minute, ohne dass Sie eine Zeile robots.txt lesen müssen.
Häufige Fragen
Ich habe GPTBot gesperrt. Bin ich damit aus ChatGPT verschwunden?
Nicht zwingend. OpenAI trennt den Trainings-Crawler GPTBot vom Such-Crawler OAI-SearchBot und vom Abruf auf Nutzeranfrage (ChatGPT-User). Wer nur GPTBot sperrt, kann in ChatGPT-Suchantworten weiter vorkommen. Wer auch OAI-SearchBot sperrt, verschwindet aus diesen Antworten.
Beeinflusst Google-Extended, ob ich in der KI-Übersicht erscheine?
Nein. Laut Google steuert Google-Extended nur, ob Inhalte für Gemini-Anwendungen verwendet werden. Die Suche und die KI-Übersicht nutzen den normalen Googlebot. Wer aus der KI-Übersicht raus will, muss mit nosnippet oder max-snippet arbeiten, nicht mit Google-Extended.
Wie merke ich, ob mein Hoster KI-Bots blockiert, obwohl die robots.txt sie erlaubt?
Schauen Sie im Hosting- oder Cloudflare-Dashboard nach Einstellungen wie «KI-Bots blockieren» oder «Bot Fight Mode». Sicher sehen Sie es in den Server-Logs: Anfragen mit dem User-Agent GPTBot oder PerplexityBot, die mit Status 403 beantwortet werden, sind blockiert, egal was in der robots.txt steht.
Muss ich jeden Crawler einzeln eintragen?
Nein. Was nicht in der robots.txt steht, ist erlaubt. Einträge brauchen Sie nur, wenn Sie etwas sperren wollen. Wenn Sie alle KI-Crawler ausdrücklich zulassen möchten, reicht es, keine Disallow-Regel für sie zu setzen.