Webseiten-Crawl-Analysator

Warum den Crawl Ihrer Webseiten analysieren?

Wenn Ihr HTML 2 MB überschreitet, schneidet Googlebot es stillschweigend ab. Keine Fehlermeldung in der Search Console, keine Warnung: Der Inhalt am Seitenende verschwindet aus dem Google-Index (Quelle: Google-Dokumentation). Und das ist nur ein Teil des Problems: falsch konfigurierte robots.txt, zu viele Unterressourcen, unsichtbare JavaScript-Weiterleitungen und fehlende Komprimierung verbrauchen Ihr Crawl-Budget, ohne dass Sie es merken.

Fünf Gründe, den Crawl Ihrer Seiten zu analysieren:

• Trunkierung vermeiden - Seiten mit umfangreichem Inline-HTML (SVG, CSS, großes JSON-LD) überschreiten oft das Limit, ohne dass Sie es merken
• Googlebot-Zugang prüfen - Eine falsch konfigurierte robots.txt kann das Crawlen wichtiger Seiten blockieren
• Crawl-Budget optimieren - Leichtere Seiten mit weniger Unterressourcen = mehr von Google gecrawlte Seiten in der verfügbaren Zeit
• Unsichtbare Weiterleitungen erkennen - meta refresh- und JavaScript-Weiterleitungen werden von Googlebot nicht immer verfolgt
• Mobil vs. Desktop vergleichen - Mobile-First Indexing bedeutet, dass die Smartphone-Version für die Indexierung zählt

So nutzen Sie den Page Crawl Checker in 3 Schritten

Schritt 1: URL der Seite eingeben

Geben Sie die vollständige URL der zu analysierenden Seite in das Feld oben ein. Das Tool akzeptiert jede öffentlich zugängliche URL, auch PDF-Dateien:

https://www.captaindns.com/de

Testen Sie zuerst Ihre längsten Seiten: Kategorieseiten, Produktseiten mit vielen Varianten, Blogartikel mit zahlreichen Inline-Bildern.

Schritt 2: User-Agent und Optionen wählen

Wählen Sie den User-Agent, um den Crawl zu simulieren:

• Googlebot Smartphone (empfohlen): Simuliert den Mobile-First-Crawl, den Google für die primäre Indexierung nutzt
• Googlebot Desktop: Nützlich, um die Desktop-Version zu vergleichen, falls Ihre Seite unterschiedliches HTML ausliefert
• Vergleichsmodus: Testet beide User-Agents gleichzeitig, um Unterschiede bei Inhalt, Größe und Headern zu erkennen

In den erweiterten Optionen können Sie benutzerdefinierte HTTP-Header hinzufügen. Nützlich, um eine Seite hinter einem CDN oder Reverse-Proxy zu testen oder ein bestimmtes Authentifizierungs-Cookie zu senden.

Schritt 3: Vollständigen Bericht ansehen

Der Bericht zeigt:

• KPIs am Seitenanfang: Größe, Crawl-Budget-Score, Anzahl der Unterressourcen, Antwortzeit, clientseitige Weiterleitungen
• Fortschrittsbalken: Visuelles Verhältnis zum 2-MB-Limit (oder 64 MB für PDFs)
• robots.txt: Prüfung, ob Googlebot die URL crawlen darf, crawl-delay und erkannte Sitemaps
• HTTP-Header: Content-Type, Content-Encoding, Cache-Control, X-Robots-Tag und Ihre gesendeten benutzerdefinierten Header
• HTML-Analyse: Meta-Tags, Headings, Links, strukturierte Daten, Inline-Ressourcen
• Unterressourcen: Vollständiges Inventar der Skripte, CSS, Bilder, Fonts, Iframes mit Größe und Status
• Crawl-Budget: 100-Punkte-Score mit Aufschlüsselung der Faktoren und individuellem Einfluss
• Clientseitige Weiterleitungen: Im HTML erkannte meta refresh- und JavaScript-Weiterleitungen
• Inhalts-Fingerabdruck: SHA-256-Hash zur Erkennung von Änderungen zwischen Analysen
• Trunkierungssimulation: Falls zutreffend, zeigt genau, wo Googlebot abschneiden würde
• Empfehlungen: Konkrete, nach Auswirkung priorisierte Maßnahmen

Was ist das 2-MB-Limit von Googlebot?

Google dokumentiert ein Größenlimit für den Crawl: Googlebot kann die ersten 2.097.152 Bytes (2 MB) des HTML-Quellcodes einer Seite herunterladen und indexieren. Darüber hinaus wird der Inhalt abgeschnitten. Für PDF-Dateien liegt das Limit bei 64 MB.

Was das konkret bedeutet:

Achtung: Das HTML-Limit gilt für den dekomprimierten Inhalt. Die gzip/Brotli-Komprimierung ändert nichts daran: Ein 3 MB großes HTML, das komprimiert übertragen wird, wird nach der Dekompression trotzdem bei 2 MB abgeschnitten.

Seiten mit erhöhtem Risiko:

• E-Commerce-Seiten mit Hunderten von Produkten im HTML
• Landing Pages mit Inline-SVG oder umfangreichem eingebettetem CSS
• Seiten mit sehr detaillierten JSON-LD-Daten (z. B. FAQ mit über 50 Fragen)
• Serverseitig generierte Seiten mit viel Inline-JavaScript

Was analysiert das Tool genau?

Größenanalyse

robots.txt-Prüfung

HTTP-Header

HTML-Analyse

Unterressourcen

Crawl-Budget-Score

Clientseitige Weiterleitungen

Inhalts-Fingerabdruck

Vergleich Mobil vs. Desktop

Geben Sie Ihre URL oben ein, um die vollständige Analyse Ihrer Seite zu erhalten.

Praxisnahe Anwendungsfälle

Fall 1: E-Commerce-Seite mit Tausenden Produkten

Symptom: Ihre Kategorieseite listet 500 Produkte im HTML auf. Das Seitenende (Paginierung, FAQ, Links zu Unterkategorien) erscheint nicht in den Google-Ergebnissen.

Diagnose mit dem Tool: Die Seite hat 3,2 MB HTML. Googlebot schneidet bei 2 MB ab und verliert die letzten 200 Produkte, die FAQ und alle Navigationslinks im Footer.

Maßnahme: Auf Paginierung mit dynamischem Laden (Lazy Load) umstellen, die anfängliche Auflistung auf 50 Produkte begrenzen, die FAQ nach oben verschieben.

Fall 2: Niedriger Crawl-Budget-Score wegen Unterressourcen

Symptom: Google crawlt nur wenige Seiten Ihrer Website, obwohl der Inhalt regelmäßig aktualisiert wird. Neue Seiten erscheinen erst nach Wochen im Index.

Diagnose mit dem Tool: Jede Seite lädt 85 Unterressourcen, darunter 40 Drittanbieter-Skripte (Analytics, Widgets, A/B-Testing). Der Crawl-Budget-Score liegt bei 35/100. Drittanbieter-Ressourcen machen 60 % der Anfragen aus.

Maßnahme: Drittanbieter-Skripte verzögert laden (defer/async), ungenutzte Skripte entfernen, CSS- und JS-Dateien bündeln, Lazy Loading für Bilder unterhalb des sichtbaren Bereichs verwenden.

Fall 3: Für Googlebot unsichtbare JavaScript-Weiterleitung

Symptom: Ihre Seite leitet Nutzer korrekt auf die neue URL weiter, aber die alte Seite bleibt in Google indexiert und die neue erscheint nicht.

Diagnose mit dem Tool: Das Tool erkennt ein window.location.href im HTML. Das ist eine JavaScript-Weiterleitung, der Googlebot nicht systematisch folgt. Keine HTTP-Weiterleitung (301/302) ist konfiguriert.

Maßnahme: Die JavaScript-Weiterleitung durch eine serverseitige HTTP-301-Weiterleitung ersetzen. Falls ein Übergang nötig ist, ein <link rel="canonical">-Tag hinzufügen, das auf die neue URL verweist.

Fall 4: robots.txt blockiert einen wichtigen Bereich

Symptom: Ihre /de/blog/-Seiten werden seit der Aktualisierung Ihrer robots.txt nicht mehr indexiert. Kein sichtbarer Fehler in der Search Console.

Diagnose mit dem Tool: Die robots.txt-Analyse zeigt "URL blockiert" mit der Regel Disallow: /de/, die den gesamten deutschsprachigen Inhalt sperrt. Die robots.txt sollte nur /de/admin/ blockieren, aber die Regel ist zu breit gefasst.

Maßnahme: robots.txt korrigieren, indem Disallow: /de/ durch Disallow: /de/admin/ ersetzt wird. Mit dem Tool prüfen, ob die wichtigen Seiten erlaubt sind.

Fall 5: Unterschiedlicher Inhalt bei Mobil und Desktop

Symptom: Ihr Google-Ranking sinkt, obwohl Ihr Desktop-Inhalt vollständig und gut optimiert ist.

Diagnose mit dem Tool: Der Vergleichsmodus zeigt, dass die Smartphone-Version ein abgespecktes HTML liefert: FAQ, Kundenbewertungen und 3 Content-Abschnitte fehlen. Die SHA-256-Fingerabdrücke sind unterschiedlich. Google indexiert die unvollständige Mobilversion.

Maßnahme: Sicherstellen, dass die Mobilversion denselben SEO-Inhalt wie die Desktop-Version enthält. Responsive Design statt serverseitig bedingtem Inhalt verwenden.

Fall 6: Komprimierung nach Migration verloren

Symptom: Nach einem Serverwechsel laden Ihre Seiten langsamer und Google crawlt weniger Seiten.

Diagnose mit dem Tool: Der Header Content-Encoding fehlt. Der Server komprimiert das HTML nicht mehr. Der Crawl-Budget-Score fällt von 78/100 auf 52/100.

Maßnahme: gzip/Brotli-Komprimierung auf dem neuen Server reaktivieren. Nginx-/Apache-Konfiguration prüfen.

Testen Sie Ihre Seiten mit dem Tool oben, um die spezifischen Probleme Ihrer Website zu identifizieren.

FAQ - Häufig gestellte Fragen

F: Wie groß ist eine durchschnittliche Webseite?

A: 2025 liegt das Mediangewicht einer Webseite bei etwa 2,5 MB (alle Ressourcentypen zusammen). Das reine HTML wiegt jedoch meist nur zwischen 50 KB und 500 KB. Für das Crawl-Limit von Googlebot zählt allein die HTML-Größe, nicht das Gesamtgewicht mit Bildern, CSS und JavaScript.

F: Was passiert, wenn eine Seite 2 MB überschreitet?

A: Googlebot schneidet das HTML ab 2.097.152 Bytes ab. Alles danach wird bei der Indexierung ignoriert. Konkret: Interne Links, strukturierte FAQ, SEO-Text am Seitenende fließen nicht mehr in das Ranking der Suchergebnisse ein.

F: Was ist das Crawl-Budget?

A: Das Crawl-Budget ist die Anzahl der Seiten, die Googlebot in einem bestimmten Zeitraum auf Ihrer Website crawlen kann. Umfangreiche Seiten mit vielen Unterressourcen verbrauchen mehr Server- und Netzwerkressourcen und verringern die Gesamtzahl der gecrawlten Seiten. Unser Tool berechnet einen 100-Punkte-Score, um die Effizienz jeder Seite zu bewerten.

F: Warum wirken sich Unterressourcen auf den Crawl aus?

A: Jede Unterressource (Skript, CSS, Bild, Font) erfordert eine zusätzliche HTTP-Anfrage. Googlebot hat eine begrenzte Crawl-Kapazität pro Domain. Eine Seite mit über 80 Unterressourcen verbraucht deutlich mehr Budget als eine mit 20. Drittanbieter-Ressourcen erhöhen die Latenz und erzeugen externe Abhängigkeiten.

F: Was ist eine clientseitige Weiterleitung?

A: Eine clientseitige Weiterleitung wird vom Browser über ein meta refresh-Tag oder JavaScript (window.location) ausgeführt. Im Gegensatz zu HTTP-Weiterleitungen (301, 302) folgt Googlebot diesen nicht immer. Wenn Ihre einzige Weiterleitung clientseitig ist, wird die Zielseite möglicherweise nie indexiert.

F: Prüft das Tool die robots.txt-Datei?

A: Ja. Das Tool ruft automatisch die robots.txt der Domain ab und prüft, ob Googlebot die getestete URL crawlen darf. Es erkennt auch crawl-delay und deklarierte Sitemaps. Wenn robots.txt die URL blockiert, wird eine Warnung angezeigt, die Seitenanalyse wird aber fortgesetzt, damit Sie den Inhalt trotzdem sehen können.

F: Funktioniert das Tool mit PDF-Dateien?

A: Ja. Das Tool erkennt PDF-Dateien automatisch und passt das Größenlimit an: 64 MB statt 2 MB für HTML. Ein PDF-Badge wird im Bericht angezeigt und die HTML-Analyse wird deaktiviert (nicht auf PDFs anwendbar).

F: Wozu dient der Inhalts-Fingerabdruck (Hash)?

A: Das Tool erzeugt einen SHA-256-Hash des Seiteninhalts. Dieser Fingerabdruck ermöglicht es, Änderungen zwischen zwei Analysen zu erkennen oder festzustellen, ob die Mobil- und Desktop-Versionen identischen Inhalt liefern. Nützlich, um unbeabsichtigte Änderungen nach einem Deployment zu überwachen.

F: Warum Googlebot Smartphone statt Desktop wählen?

A: Google nutzt seit 2019 Mobile-First Indexing: Die Smartphone-Version Ihrer Seite wird vorrangig indexiert. Testen Sie mit dem User-Agent Smartphone, um genau zu sehen, was Google indexiert. Der Vergleichsmodus erlaubt es, die Konsistenz beider Versionen zu überprüfen.

F: Warum die Mobil- und Desktop-Versionen vergleichen?

A: Wenn Ihre Mobilversion anderen Inhalt liefert (weniger Text, fehlende FAQ, fehlende Links), leidet Ihr Ranking. Der Vergleichsmodus erkennt diese Unterschiede und klassifiziert sie nach Schweregrad. Mobile-First Indexing bedeutet, dass die unvollständige Mobilversion die indexierte Version ist.

F: Wie reduziere ich das Gewicht einer Webseite?

A: Die effektivsten Maßnahmen:

• Überflüssiges Inline-CSS/JS entfernen - In externe Dateien auslagern
• Komprimierung aktivieren - gzip oder Brotli auf Serverebene
• HTML minifizieren - Leerzeichen und Kommentare entfernen
• SVG auslagern - Inline-SVG durch img-Tags ersetzen
• Lazy Loading - Umfangreiche Inhalte bei Bedarf nachladen

F: Zählt die gzip/Brotli-Komprimierung zum 2-MB-Limit?

A: Nein. Das 2-MB-Limit gilt für das dekomprimierte HTML. Ein 3 MB großes HTML, das während der Übertragung auf 500 KB komprimiert wird, wird nach der Dekompression durch Googlebot trotzdem bei 2 MB abgeschnitten. Die Komprimierung verbessert die Übertragungsgeschwindigkeit, umgeht aber nicht das Größenlimit.

F: Wozu dienen benutzerdefinierte HTTP-Header?

A: Mit benutzerdefinierten Headern können Sie spezifische Konfigurationen testen: ein Cookie senden, um auf eine geschützte Seite zuzugreifen, einen bestimmten Accept-Language-Header simulieren oder CDN-Bedingungen reproduzieren. Das Tool zeigt die gesendeten Header im Bericht zur Bestätigung an.

Ergänzende Tools

Nützliche Ressourcen

• Google - Dokumentation zu Crawl-Limits (offizielle Googlebot-Dokumentation)
• Google - Mobile-First Indexing (Leitfaden zum Mobile-First Indexing)
• Google - Crawl budget management (Verwaltung des Crawl-Budgets für große Websites)
• HTTP Archive - State of the Web (Statistiken zum Seitengewicht)
• Web.dev - Optimize Largest Contentful Paint (Web-Performance-Optimierung)