Crawl Budget

Was ist das Crawl Budget?

Das Crawl Budget bezeichnet die Anzahl der URLs, die eine Suchmaschine innerhalb eines bestimmten Zeitraums auf einer Website crawlt. Beim Crawling rufen Suchmaschinen wie Google Webseiten automatisiert ab, um deren Inhalte zu erfassen und für die Suche zu verarbeiten. Das Crawl Budget beschreibt dabei vereinfacht, wie viele Ressourcen Google für das Crawling einer Website einsetzt.

Wie funktioniert das Crawl Budget?

Googlebot, der Webcrawler von Google, besucht Webseiten und folgt internen sowie externen Links, um weitere URLs zu entdecken. Wie häufig und umfangreich Google eine Website crawlt, hängt unter anderem von der technischen Leistungsfähigkeit des Servers, der Crawl-Nachfrage und der Bedeutung der Inhalte ab.

Google unterscheidet dabei zwischen der Crawl-Kapazität und der Crawl-Nachfrage. Die Crawl-Kapazität beschreibt, wie viele Anfragen Googlebot an einen Server richten kann, ohne diesen zu überlasten. Die Crawl-Nachfrage hängt davon ab, wie relevant und aktuell Google die Inhalte einer Website einschätzt.

Ein grosses Crawl Budget ist nicht automatisch ein Vorteil. Entscheidend ist, dass Suchmaschinen vor allem wichtige, relevante und indexierbare Seiten erreichen können.

Welche Bedeutung hat das Crawl Budget für SEO?

Für kleine und mittelgrosse Websites spielt das Crawl Budget häufig eine untergeordnete Rolle, da Google deren wichtige Seiten in der Regel problemlos crawlen kann. Bei sehr grossen Websites, Onlineshops mit vielen Produktvarianten oder technisch komplexen Plattformen kann es hingegen entscheidend sein.

Unternehmen können das Crawling gezielt unterstützen, indem sie unnötige URLs reduzieren, interne Links sinnvoll strukturieren und eine aktuelle XML-Sitemap bereitstellen. Auch Weiterleitungsketten, fehlerhafte URLs, endlose Filterkombinationen und technische Probleme können das Crawling beeinträchtigen.

Wichtig: Eine gecrawlte Seite wird nicht automatisch indexiert. Crawling und Indexierung sind zwei unterschiedliche Prozesse.

Wie lässt sich das Budget für das Crawling optimieren?

Eine technische SEO-Analyse hilft dabei, unnötige Crawling-Pfade zu identifizieren. Dazu gehören beispielsweise doppelte URLs, überflüssige Parameter und interne Links auf nicht relevante Seiten. Serverprotokolle und die Google Search Console können zusätzliche Hinweise darauf liefern, wie Googlebot eine Website tatsächlich crawlt.

Das Budget für das Crawling beschreibt die Crawling-Ressourcen, die Suchmaschinen für eine Website einsetzen. Eine saubere technische Struktur und relevante Inhalte helfen insbesondere grossen Websites dabei, das Crawling auf wichtige Seiten auszurichten.