Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen und welche nicht. Sie steuert das Crawlen, nicht die Indexierung: Eine gesperrte Seite kann trotzdem in Suchergebnissen erscheinen, wenn andere Websites auf sie verlinken.
Was robots.txt bedeutet
Bevor ein Crawler eine Website abruft, schaut er in die Datei robots.txt. Dort steht, welche Verzeichnisse oder Seiten er auslassen soll. Die Datei besteht aus wenigen Zeilen in einem festen Schema: Zuerst wird der Crawler genannt («User-agent»), dann, was er nicht abrufen darf («Disallow») oder ausdrücklich darf («Allow»).
Ein Beispiel für eine KMU-Website, die Suchmaschinen und KI-Crawler zulässt, aber den internen Bereich ausnimmt:
User-agent: *
Disallow: /intern/
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
Sitemap: https://www.beispiel.ch/sitemap.xmlDer Stern steht für alle Crawler. GPTBot (OpenAI), ClaudeBot (Anthropic) und PerplexityBot (Perplexity) sind die Crawler der KI-Anbieter; alle drei dokumentieren öffentlich, dass sie die Datei beachten. Ob Ihre Website für sie erreichbar ist, zeigt der Zwei-Minuten-Test für KI-Crawler.
Ein Beispiel aus dem KMU-Alltag
Eine Anwaltskanzlei in St. Gallen hat vor zwei Jahren eine neue Website erhalten. Die Agentur hatte während der Entwicklung alle Crawler gesperrt, damit die Baustelle nicht bei Google erscheint. Beim Livegang wurde die Sperre für Google aufgehoben, eine zweite Regel blieb stehen: Alle anderen Crawler bleiben draussen.
Bei Google ist die Kanzlei gut sichtbar. In ChatGPT und Perplexity wird sie nie genannt, weil deren Crawler die Seiten nicht lesen dürfen. Die Mitbewerberin zwei Strassen weiter erscheint dort regelmässig. Der Grund war eine einzige Zeile in einer Datei, die niemand mehr angeschaut hatte.
Warum das für Ihr Unternehmen zählt
Die robots.txt ist klein, aber sie entscheidet, wer Ihre Inhalte überhaupt lesen darf. Ein Fehler darin macht die beste Website unsichtbar, und zwar lautlos: Es gibt keine Fehlermeldung, nur ausbleibende Besucher.
Mit dem Aufkommen der KI-Suche hat die Datei neue Bedeutung bekommen. Welche KI-Crawler Sie zulassen, bestimmt, in welchen Antwortsystemen Ihre Firma vorkommen kann. Ein Blick in die Datei nach jedem Relaunch und einmal pro Jahr ist gut investiert.
Häufige Missverständnisse
Mit Disallow verschwindet eine Seite aus Google. Nein. Google dokumentiert ausdrücklich, dass die robots.txt kein Mittel ist, um Seiten aus den Suchergebnissen fernzuhalten. Eine gesperrte Seite kann weiterhin erscheinen, dann ohne Beschreibung, weil Google den Inhalt nicht lesen durfte. Wer eine Seite aus dem Index halten will, braucht noindex, und dafür muss der Crawler die Seite lesen dürfen.
Die robots.txt schützt vertrauliche Daten. Sie ist öffentlich lesbar und zeigt jedem, welche Verzeichnisse es gibt. Schutz bietet nur ein Passwort.
Häufige Fragen
Wo liegt die robots.txt und wie sehe ich meine?
Immer im Hauptverzeichnis der Domain, also unter der Adresse Ihrer Website mit dem Zusatz /robots.txt. Sie können die Datei im Browser aufrufen wie jede andere Seite. Fehlt sie, dürfen Crawler alles abrufen.
Soll ich KI-Crawler wie GPTBot sperren?
Das ist eine geschäftliche Entscheidung. Wer GPTBot, ClaudeBot oder PerplexityBot sperrt, schützt Inhalte vor dem Mitlesen, verzichtet aber darauf, in ChatGPT, Claude oder Perplexity als Quelle genannt zu werden. Für Unternehmen, die über KI-Antworten gefunden werden wollen, ist das Sperren in der Regel ein Nachteil.
Müssen sich Crawler an die robots.txt halten?
Die Datei ist eine Bitte, keine technische Sperre. Google, Bing, OpenAI, Anthropic und Perplexity dokumentieren, dass ihre Crawler die Regeln respektieren. Bösartige Bots ignorieren sie. Vertrauliche Inhalte gehören deshalb hinter ein Login, nicht nur in die robots.txt.