Das Crawl-Budget ist die Menge an Seiten, die Google auf einer Website in einem bestimmten Zeitraum abruft. Es ergibt sich aus der Kapazität des Servers und daraus, wie lohnend Google die Website einschätzt. Für die meisten KMU-Websites mit wenigen hundert Seiten ist es laut Google kein Engpass.
Was Crawl-Budget bedeutet
Google kann nicht jede Seite im Web jeden Tag abrufen. Der Crawler verteilt seine Besuche und entscheidet pro Website, wie viele Adressen er in einem Zeitraum anschaut. Diese Menge nennt man Crawl-Budget. Google beschreibt zwei Einflussgrössen: die Kapazitätsgrenze, also wie viele Abrufe der Server verträgt, ohne langsam zu werden, und den Bedarf, also wie wichtig und wie häufig geändert Google die Inhalte einschätzt.
Google sagt in seiner Dokumentation ausdrücklich, für wen das Thema relevant ist: Websites mit über einer Million einzigartiger Seiten, deren Inhalte sich wöchentlich ändern, oder Websites mit über 10’000 Seiten, die sich täglich ändern. Für ein KMU mit Website, Blog und ein paar Angebotsseiten ist das Crawl-Budget kein Engpass. Trotzdem lohnt es sich zu verstehen, was es verschwendet, denn dieselben Fehler schaden auch kleinen Websites.
Verschwendet wird das Budget durch Adressen ohne eigenen Wert:
- Filter- und Sortierparameter, die dieselbe Liste in hundert Varianten erzeugen
- Session-IDs und Tracking-Parameter in internen Links
- Kalender mit endlosen Monatsseiten
- doppelte Inhalte unter mehreren Adressen ohne Canonical-Tag
- gelöschte Seiten, die statt eines Fehlercodes eine leere Seite liefern (Soft 404)
Ein Beispiel aus dem KMU-Alltag
Eine Garage in Wil betreibt neben ihrer Website eine Fahrzeugbörse. Jedes Fahrzeug ist nach Marke, Farbe, Preis und Kilometerstand filterbar, und jede Filterkombination hat eine eigene Adresse. Aus 80 Fahrzeugen werden so über 30’000 Adressen.
Google verbringt seine Besuche damit, Filterseiten abzurufen, die alle dieselben Fahrzeuge zeigen. Die neuen Blogbeiträge zur Wartung von Elektroautos werden dagegen erst nach Wochen gefunden. Die Garage lässt die Filterseiten per Canonical-Tag auf die Hauptliste zeigen und sperrt die Parameter in der robots.txt. Danach konzentriert sich Google auf die Seiten, die zählen, und neue Beiträge erscheinen deutlich schneller.
Warum das für Ihr Unternehmen zählt
Für die meisten KMU ist das Crawl-Budget keine Zahl, die man optimieren muss. Es ist eine Erinnerung daran, dass Google nur begrenzt Zeit für jede Website hat und diese Zeit auf wertlose Adressen verschwenden kann.
Wer seine Website schlank hält, eine saubere XML-Sitemap pflegt und doppelte Adressen bündelt, sorgt dafür, dass neue Inhalte schnell gefunden werden. Das ist auch bei kleinen Websites der Unterschied zwischen Tagen und Wochen bis zur ersten Sichtbarkeit.
Häufige Missverständnisse
Ein kleines Crawl-Budget ist eine Strafe. Google crawlt kleine Websites seltener, weil es weniger zu holen gibt, nicht weil sie schlecht sind. Entscheidend ist, dass die wichtigen Seiten abgerufen werden, nicht die Zahl der Besuche.
Mehr Crawling heisst besseres Ranking. Crawlen ist die Voraussetzung dafür, dass eine Seite bewertet werden kann. Die Bewertung selbst hängt vom Inhalt ab, nicht von der Häufigkeit der Besuche.
Häufige Fragen
Wie sehe ich, wie oft Google meine Website crawlt?
In der Search Console gibt es unter «Einstellungen» den Bericht «Crawling-Statistiken». Er zeigt, wie viele Anfragen Google pro Tag gestellt hat, wie schnell der Server geantwortet hat und welche Dateitypen abgerufen wurden. Für KMU-Websites genügt ein Blick alle paar Monate.
Kann ich das Crawl-Budget erhöhen?
Direkt bestellen lässt es sich nicht. Google crawlt mehr, wenn der Server schnell antwortet, Seiten regelmässig aktualisiert werden und die Website insgesamt als relevant gilt. Umgekehrt hilft es, unnötige Adressen zu vermeiden, damit das vorhandene Budget den wichtigen Seiten zugutekommt.
Verbraucht ein Blog mit vielen Beiträgen das Crawl-Budget?
Nein, solange jede Adresse echten Inhalt hat. Google nennt als kritisch erst Websites mit über einer Million Seiten oder über 10'000 Seiten mit täglichen Änderungen. Ein Firmenblog mit einigen hundert Beiträgen liegt weit darunter. Problematisch sind Adressen ohne eigenen Inhalt, nicht viele Beiträge.