Warum HTTP-Tools verwenden?
Das HTTP-Protokoll ist die Grundlage jeder Webseite. Ein HTTP-Problem bedeutet schlecht indexierte Inhalte, eine langsame Website oder verschwendete Ressourcen. Ohne HTTP-Analyse weißt du nicht, was Googlebot tatsächlich von deinen Seiten sieht und ob deine Besucher auf sichere Links klicken.
Fünf Situationen, in denen diese Tools unverzichtbar sind:
- Seite zu schwer → Googlebot schneidet HTML ab 2 MB ab, deine internen Links und FAQ verschwinden aus dem Index
- Fehlerhafte Header → Ein falsch konfigurierter
Content-Typeoder ein vergessenesX-Robots-Tag: noindexkann eine komplette Seite deindexieren - Crawl Budget verschwendet → Übermäßige Unterressourcen und fehlende Komprimierung reduzieren die Anzahl der von Google gecrawlten Seiten
- Verdächtiger Link erhalten → Eine E-Mail oder SMS enthält einen zweifelhaften Link, den du vor dem Klicken auf Phishing oder Malware prüfen solltest
- Domain-Weiterleitung → Du wechselst den Domainnamen oder leitest einen Apex auf www weiter und brauchst HTTPS auf der Quell-Domain
So verwendest du die HTTP-Tools
Schritt 1: Tool wählen
| Bedarf | Zu verwendendes Tool |
|---|---|
| Seitengewicht, Header und Crawl einer Seite analysieren | Page Crawl Checker |
| Prüfen, ob ein Link Phishing oder Malware ist | Phishing URL Checker |
| Die Weiterleitungskette einer URL analysieren | Redirect Checker |
| Eine Domain mit HTTPS weiterleiten | Redirect Hosting |
Schritt 2: URL eingeben
Gib die vollständige URL in das Eingabefeld ein. Beide Analyse-Tools akzeptieren jede öffentliche URL:
https://www.captaindns.com/de/blog
Beim Page Crawl Checker solltest du vorrangig deine längsten Seiten testen (Kategorien, Produktseiten, Artikel mit vielen Bildern). Beim Phishing URL Checker fügst du direkt den verdächtigen Link aus der E-Mail oder SMS ein.
Schritt 3: Ergebnisse analysieren
Jedes Tool liefert einen detaillierten Bericht:
- Page Crawl Checker: HTML-Größe, Crawl-Budget-Score (0-100), Inventar der Unterressourcen, robots.txt-Prüfung, HTTP-Header, Erkennung clientseitiger Weiterleitungen, SHA-256-Fingerabdruck
- Phishing URL Checker: Gesamtbewertung (sauber, verdächtig, bösartig), Risiko-Score (0-100), Details pro Threat-Intelligence-Quelle, Abdeckungsdiagnose
- Redirect Hosting: HTTP-Weiterleitungscode (301 oder 302), Status des TLS-Zertifikats, Pfad- und Query-String-Weiterleitung
Details der Tools
Page Crawl Checker
Vollständige Crawl-Analyse einer Webseite aus Googlebot-Perspektive:
| Funktion | Beschreibung |
|---|---|
| Größenanalyse | Roh- und dekomprimiertes HTML-Gewicht, Verhältnis zum 2-MB-Limit (oder 64 MB für PDFs) |
| Crawl-Budget-Score | Bewertung auf 100, die die Crawl-Effizienz der Seite bewertet, mit Aufschlüsselung der Faktoren |
| Unterressourcen | Vollständiges Inventar der Skripte, CSS, Bilder, Fonts und Iframes mit Größe und Status |
| robots.txt-Prüfung | Googlebot-Zugang erlaubt oder blockiert, Crawl-Delay, deklarierte Sitemaps |
| HTTP-Header | Content-Type, Content-Encoding, Cache-Control, X-Robots-Tag, HSTS, Server |
| Clientseitige Weiterleitungen | Erkennung von Meta-Refresh und JavaScript-Weiterleitungen, die für Googlebot unsichtbar sind |
| Mobile/Desktop-Vergleich | Unterschiede bei Größe, Header und Inhalt zwischen Smartphone- und Desktop-Version |
| SHA-256-Fingerabdruck | Hash des Inhalts zur Erkennung von Änderungen zwischen Analysen |
| WAF-Erkennung | Identifizierung der Web Application Firewall mit Multi-User-Agent-Fallback |
Nutzen: Größen- und Crawl-Probleme diagnostizieren, die die Google-Indexierung beeinträchtigen, Crawl Budget optimieren und JavaScript-Weiterleitungen erkennen, denen Googlebot nicht folgt.
Phishing URL Checker
Prüfung einer URL gegen 4 Threat-Intelligence-Datenbanken:
| Funktion | Beschreibung |
|---|---|
| 4 abgefragte Quellen | URLhaus (Malware), Google Safe Browsing (Phishing), PhishTank (Community-Phishing), VirusTotal (70+ Antivirus) |
| Risiko-Score | Gewichteter Score von 0 bis 100 basierend auf der Zuverlässigkeit jeder Quelle |
| Gesamtbewertung | Sauber, verdächtig, bösartig oder unbestimmt |
| Details pro Quelle | Einzelstatus, erkannte Bedrohungstypen und Antwortzeit |
| Akzeptierte Formate | Vollständige URL, blanker Domainname oder IP-Adresse |
| Diagnose | Informationen über nicht verfügbare Quellen, Timeouts und eingeschränkte Abdeckung |
Nutzen: Einen verdächtigen Link vor dem Klicken prüfen, deine Organisation vor Phishing-Kampagnen schützen und sicherstellen, dass deine eigene Domain nicht fälschlicherweise gemeldet ist (False Positive).
Redirect Checker
Vollständige Analyse der Weiterleitungskette einer URL:
| Funktion | Beschreibung |
|---|---|
| Weiterleitungskette | Verfolgt jeden HTTP-Sprung (301, 302, 307, 308) mit Statuscode, Headers und Antwortzeit |
| Batch-Analyse | Prüfung mehrerer URLs in einer einzigen Anfrage |
| URL-Entfaltung | Auflösung von Kurzlinks (bit.ly, t.co, tinyurl) zur endgültigen Zieladresse |
| Schleifenerkennung | Erkennung zirkulärer Weiterleitungen, bevor sie den Browser blockieren |
| HTTP-Header | Vollständige Anzeige der Antwort-Header bei jedem Schritt der Kette |
Nutzen: Weiterleitungsprobleme diagnostizieren, das endgültige Ziel eines Kurzlinks prüfen und das HTTP-Verhalten einer URL analysieren, bevor du sie besuchst.
Redirect Hosting
Domain-Weiterleitung mit automatischem HTTPS und TLS-Zertifikatsverwaltung:
| Funktion | Beschreibung |
|---|---|
| Automatisches HTTPS | TLS-Zertifikat über Let's Encrypt, ausgestellt in 60 Sekunden |
| 301 und 302 | Permanente Weiterleitung (SEO) oder temporäre Weiterleitung (Kampagnen) |
| Pfadweiterleitung | Beibehaltung von Pfad und Query-Strings |
| Domain-Verifizierung | Eigentumsnachweis per TXT-Eintrag, geteilt mit MTA-STS und BIMI |
| Apex und Subdomains | A/AAAA-Unterstützung für Root-Domains, CNAME für Subdomains |
Nutzen: Eine alte Domain auf eine neue weiterleiten, www auf einem Apex erzwingen oder temporäre Weiterleitungen für Marketingkampagnen verwalten, alles mit gültigem HTTPS ohne Serverkonfiguration.
Konkrete Anwendungsfälle
Fall 1: E-Commerce-Seite von Googlebot abgeschnitten
Symptom: Die FAQ und Navigationslinks am Ende deiner Kategorieseite erscheinen nicht in den Google-Ergebnissen.
Diagnose: Der Page Crawl Checker zeigt, dass die Seite 3,2 MB HTML umfasst. Googlebot schneidet bei 2 MB ab und verliert die letzten 200 Produkte, die FAQ und die interne Verlinkung im Footer.
Maßnahme: Das initiale Listing begrenzen, Paginierung mit Lazy Loading verwenden und die FAQ an den Seitenanfang verschieben.
Fall 2: Bank-Phishing-E-Mail
Symptom: Du erhältst eine dringende E-Mail von deiner "Bank" mit einem Link zur Kontoverifizierung.
Diagnose: Der Phishing URL Checker liefert einen Score von 75 (hoch). Google Safe Browsing und PhishTank melden die URL als Phishing (Social Engineering).
Maßnahme: Nicht klicken. Die E-Mail als Phishing melden. Die Website deiner Bank aufrufen, indem du die Adresse direkt in den Browser eintippst.
Fall 3: Niedriger Crawl-Budget-Score
Symptom: Google crawlt nur wenige Seiten deiner Website, obwohl der Inhalt regelmäßig aktualisiert wird.
Diagnose: Der Page Crawl Checker zeigt einen Score von 35/100. Die Seite lädt 85 Unterressourcen, davon 40 Drittanbieter-Skripte (Analytics, Widgets, AB-Testing).
Maßnahme: Drittanbieter-Skripte verzögert laden (defer/async), ungenutzte Skripte entfernen, gzip/brotli-Komprimierung aktivieren.
Fall 4: Verdächtiger Kurzlink in einer SMS
Symptom: Eine SMS enthält einen bit.ly-Link mit der Aufforderung, "dein Paket zu aktualisieren".
Diagnose: Nach dem Auflösen des Kurzlinks meldet der Phishing URL Checker die Ziel-URL. URLhaus listet sie als Malware-Verteilung.
Maßnahme: Die SMS löschen und die Nummer blockieren. Seriöse Lieferdienste verlangen niemals eine Zahlung per SMS.
Fall 5: Domain-Migration
Symptom: Du migrierst von alt.captaindns.com nach captaindns.com und Besucher der alten Domain sehen einen Fehler.
Diagnose: Die alte Domain zeigt nirgendwohin. Ohne HTTPS-Weiterleitung zeigen Browser einen Zertifikatsfehler oder eine leere Seite an.
Maßnahme: Redirect Hosting mit einer 301-Weiterleitung und aktivierter Pfadweiterleitung einrichten. Besucher von alt.captaindns.com/seite landen auf captaindns.com/seite mit dem richtigen SEO-Code.
❓ FAQ - Häufig gestellte Fragen
F: Warum sollte ich Webseiten mit HTTP-Tools analysieren?
A: HTTP-Tools erkennen unsichtbare Probleme: Seiten, die für Googlebot zu groß sind (Abschneiden ab 2 MB), falsch konfigurierte Header (vergessenes X-Robots-Tag: noindex), JavaScript-Weiterleitungen, denen Googlebot nicht folgt. Diese Probleme beeinträchtigen direkt dein Ranking, ohne dass eine Warnung in der Search Console erscheint.
F: Wie prüfe ich, ob ein Link Phishing ist?
A: Füge die URL in den Phishing URL Checker ein. Das Tool befragt 4 Threat-Intelligence-Datenbanken parallel (URLhaus, Google Safe Browsing, PhishTank, VirusTotal) und liefert ein Ergebnis mit einem Risiko-Score von 0 bis 100.
F: Was bedeutet das 2-MB-Limit von Googlebot?
A: Google kann die ersten 2.097.152 Bytes HTML einer Seite herunterladen und indexieren. Darüber hinaus wird der Inhalt abgeschnitten. Das Limit gilt für das dekomprimierte HTML: gzip/brotli-Komprimierung umgeht dieses Limit nicht.
F: Was ist das Crawl Budget?
A: Das Crawl Budget ist die Anzahl der Seiten, die Googlebot in einer bestimmten Zeit crawlen kann. Schwere Seiten mit vielen Unterressourcen verbrauchen mehr Ressourcen. Der Page Crawl Checker berechnet einen Score von 100, um die Effizienz jeder Seite zu bewerten.
F: Was ist der Unterschied zwischen Phishing und Malware?
A: Phishing imitiert einen legitimen Dienst, um Zugangsdaten zu stehlen. Malware verbreitet Schadsoftware (Viren, Ransomware, Trojaner). Eine URL kann für beides gemeldet sein. Der Phishing URL Checker unterscheidet diese Kategorien in den Ergebnissen.
F: Ist das Ergebnis des Phishing URL Checker zu 100 % zuverlässig?
A: Kein Tool garantiert eine 100-prozentige Erkennung. Die durchschnittliche Lebensdauer einer Phishing-URL beträgt weniger als 24 Stunden. Ein Ergebnis "sauber" bedeutet, dass keine Quelle sie zum Zeitpunkt der Prüfung meldet, nicht dass sie dauerhaft sicher ist.
F: Wie reduziere ich das Seitengewicht?
A: Entferne unnötiges Inline-CSS und -JavaScript, aktiviere gzip- oder brotli-Komprimierung, lagere SVGs aus, minifiziere das HTML und verwende Lazy Loading. Der Page Crawl Checker identifiziert die konkreten Verbesserungspunkte.
F: Wie leite ich eine Domain auf eine andere weiter?
A: Nutze das Redirect Hosting von CaptainDNS. Verifiziere den Besitz deiner Domain per TXT-Eintrag, konfiguriere das Ziel und den Weiterleitungstyp (301 oder 302) und richte deine DNS-Einträge ein. Das HTTPS-Zertifikat wird automatisch ausgestellt.
F: Bleibt das SEO-Ranking bei einer Weiterleitung erhalten?
A: Ja, eine 301-Weiterleitung (permanent) überträgt nahezu die gesamte SEO-Autorität auf das Ziel. Das Redirect Hosting unterstützt 301-Weiterleitungen und Pfadweiterleitung, wodurch dein Ranking in den Suchmaschinen erhalten bleibt.
Ergänzende Tools
| Tool | Nutzen |
|---|---|
| DNS-Lookup | DNS-Einträge deiner Domain prüfen |
| E-Mail-Zustellbarkeitsaudit | MX, SPF, DKIM und DMARC deiner Domain analysieren |
| DNS-Propagationstest | Prüfen, ob deine DNS-Änderungen propagiert sind |
| IP Blacklist Checker | Prüfen, ob eine IP auf E-Mail-Blocklisten steht |
| Domain Blacklist Checker | Prüfen, ob eine Domain wegen Spam oder Phishing blockiert ist |
| Redirect Checker | Weiterleitungsketten analysieren und Kurzlinks auflösen |
| Domain-Weiterleitung | 301/302-HTTPS-Weiterleitungen für Ihre Domains einrichten |
Nützliche Ressourcen
- Google - Dokumentation zu Crawl-Limits (offizielle Googlebot-Dokumentation)
- Google - Mobile-first Indexing (Leitfaden zum Mobile-first Indexing)
- Google Safe Browsing (Schutz vor gefährlichen Websites)
- URLhaus by abuse.ch (Community-Datenbank bösartiger URLs)
- HTTP Archive - State of the Web (Statistiken zum Seitengewicht)