Crawl-Budget
Das Crawl-Budget beschreibt die Menge an Seiten, die eine Suchmaschine auf einer Website in einem bestimmten Zeitraum abruft.
Suchmaschinen rufen Websites fortlaufend ab, um neue und geänderte Inhalte zu erfassen. Wie viele Seiten dabei in einem bestimmten Zeitraum an der Reihe sind, beschreibt das Crawl-Budget. Der Begriff fasst zwei Größen zusammen, die Google getrennt betrachtet: die Belastbarkeit des Servers und das Interesse an den Inhalten.
Die zwei Bestandteile
Die erste Größe ist die Crawling-Kapazität. Google passt die Abrufgeschwindigkeit an die Antwortzeiten eines Servers an: Reagiert er zügig, steigt die Zahl gleichzeitiger Abrufe; wird er langsam oder liefert Fehler, drosselt Google das Tempo, um die Website zu schonen. Ein zuverlässiges Hosting wirkt sich damit unmittelbar darauf aus, wie schnell neue Inhalte erfasst werden.
Die zweite Größe ist der Crawling-Bedarf. Er richtet sich danach, wie wichtig und wie aktuell Google die Inhalte einschätzt. Häufig aktualisierte, gefragte Seiten werden öfter besucht als Seiten, die seit Jahren unverändert stehen. Auch Verweise von außen spielen hinein: Eine Seite, auf die viele Backlinks zeigen, gilt als bedeutsam und wird entsprechend regelmäßig abgerufen.
Für wen das Thema zählt
Hier ist Entwarnung angebracht: Für Websites mit einigen hundert bis wenigen tausend Seiten bleibt das Crawl-Budget in aller Regel unerheblich. Google erfasst solche Auftritte ohnehin vollständig. Bedeutung gewinnt es bei großen Portalen, umfangreichen Onlineshops mit vielen Filterkombinationen sowie bei Seiten, die täglich in großer Zahl neue Inhalte veröffentlichen.
Typische Verschwender sind endlose Parameter-URLs aus Filtern und Sortierungen, Kalenderansichten mit endloser Blätterfunktion, Druckversionen sowie lange Ketten von Weiterleitungen. Der Crawler beschäftigt sich dann mit Varianten derselben Inhalte, während neue Seiten warten.
Wie sich das Budget sinnvoll lenken lässt
Der wirksamste Hebel ist eine aufgeräumte Struktur. Eine gepflegte XML-Sitemap weist den Weg zu den Seiten, die zählen; die interne Verlinkung führt Crawler entlang der wichtigen Inhalte. Über die robots.txt lassen sich Bereiche ausschließen, deren Abruf ohnehin wenig einbringt, und kurze Antwortzeiten erhöhen die Zahl der Seiten, die in derselben Zeit erfasst werden.
Wie viel Google tatsächlich abruft, zeigt der Bericht zu den Crawling-Statistiken in der Search Console. Er macht sichtbar, wie viele Anfragen täglich eingehen, wie schnell der Server antwortet und welche Antwortcodes dabei entstehen – eine gute Grundlage, um Verschwendung zu erkennen und die Indexierung der wichtigen Seiten zu beschleunigen.
Wichtig bleibt die Unterscheidung zwischen beiden Schritten: Der Abruf ist der erste, die Aufnahme in den Index der zweite. Darüber entscheidet Google anschließend gesondert, je nachdem, ob eine Seite den Index bereichert. Dünne oder mehrfach vorhandene Inhalte bleiben deshalb auch bei großzügigem Crawl-Budget außen vor – ein weiterer Grund, Substanz über Seitenzahl zu stellen.