Crawl-Budget

SEMBOX GmbHAllgemein

Crawl-Budget bezeichnet die Anzahl Seiten, die der Spider einer Suchmaschine – zum Beispiel Googlebot, der Spider der Suchmaschine Google – in einer gewissen Zeitspanne ausliest und indexiert. Indexierung ist wichtig, da nur Seiten, welche Suchmaschinen in ihrem Index führen, ranken können.

Suchmaschinen verfügen nicht über unbegrenzte Ressourcen. Deshalb teilen sie jeder Domain ein individuelles Budget für das Crawling zu. Wird dieses Budget ineffizient verschwendet, laufen Sie Gefahr, dass neue oder aktualisierte Inhalte erst mit grosser Verzögerung oder gar nicht in den Suchergebnissen auftauchen.

Wie setzt sich das Crawl-Budget zusammen?

Google ermittelt das Budget im Wesentlichen aus zwei Hauptfaktoren:

  1. Crawl-Kapazitätsgrenze (Crawl Host Load): Google möchte die Performance Ihrer Webseite nicht beeinträchtigen. Wenn der Server bei den Abfragen des Bots langsam reagiert oder Fehler meldet, schraubt Google die Crawling-Intensität sofort zurück.
  2. Crawl-Bedarf (Crawl Demand): Beliebte Seiten, deren Inhalte sich häufig ändern, werden weitaus öfter gecrawlt. Auch eine hohe Anzahl an hochwertigen Backlinks (Off-Page-Autorität) signalisiert Google, dass sich ein häufiger Besuch der Seite lohnt.

Die grössten Crawl-Budget-Fresser auf Webseiten

Besonders bei grossen Online-Shops oder umfangreichen Portalen wird wertvolles Budget oft durch technische Unsauberkeiten verschwendet. Dazu gehören:

  • Faceted Navigation & URL-Parameter: Filterseiten (z. B. nach Farbe oder Grösse), die tausende dynamische URLs ohne Mehrwert erzeugen.
  • Duplizierter Content (Duplicate Content): Identische Inhalte, die unter mehreren URLs erreichbar sind.
  • Lange Ladezeiten & Hohe TTFB: Braucht der Server zu lange für eine Antwort, schafft der Bot weniger Seiten pro Minute.
  • Fehlerseiten & Weiterleitungsketten: 404-Fehler oder mehrfache 301-Weiterleitungen kosten Zeit und blockieren den Crawler.

Tipps zur Optimierung des Crawl-Budgets

Um die Effizienz der Suchmaschinen-Bots zu maximieren, sollten Webseitenbetreiber technische Optimierungen vornehmen. Eine sauber gepflegte robots.txt-Datei schliesst unwichtige Verzeichnisse (wie den Admin-Bereich oder interne Suchseiten) vom Crawling aus.

Zudem sorgt eine aktuelle XML-Sitemap dafür, dass der Googlebot direkt zu den wichtigsten URLs geführt wird. Durch das Setzen korrekter Canonical-Tags und die Behebung von Server-Ladezeitproblemen steuern Sie die Bot-Ressourcen gezielt auf Ihre umsatzrelevanten Landingpages.