Perché usare strumenti HTTP?
Il protocollo HTTP è alla base di ogni pagina web. Un problema HTTP significa un contenuto mal indicizzato, un sito lento o risorse sprecate. Senza un'analisi HTTP, ignori cosa Googlebot vede realmente delle tue pagine e se i tuoi visitatori cliccano su link sicuri.
Quattro situazioni in cui questi strumenti sono indispensabili:
- Pagina troppo pesante → Googlebot tronca l'HTML oltre i 2 MB, i tuoi link interni e le FAQ spariscono dall'indice
- Header errati → Un
Content-Typemal configurato o unX-Robots-Tag: noindexdimenticato può deindicizzare un'intera pagina - Crawl budget sprecato → Sotto-risorse eccessive e assenza di compressione riducono il numero di pagine scansionate da Google
- Link sospetto ricevuto → Un'email o un SMS contiene un link dubbio, devi verificare se è segnalato come phishing o malware prima di cliccare
Come usare gli strumenti HTTP
Passaggio 1: Scegliere lo strumento
| Esigenza | Strumento da usare |
|---|---|
| Analizzare il peso, gli header e il crawl di una pagina | Page Crawl Checker |
| Verificare se un link è phishing o malware | Phishing URL Checker |
Passaggio 2: Inserire l'URL
Inserisci l'URL completo nel campo di inserimento. Entrambi gli strumenti accettano qualsiasi URL pubblico:
https://www.captaindns.com/it/blog
Per il Page Crawl Checker, testa prima le tue pagine più lunghe. Per il Phishing URL Checker, incolla direttamente il link sospetto ricevuto via email o SMS.
Passaggio 3: Analizzare i risultati
Ogni strumento fornisce un report dettagliato:
- Page Crawl Checker: dimensione HTML, punteggio crawl budget (0-100), inventario delle sotto-risorse, verifica robots.txt, header HTTP, rilevamento dei redirect lato client, impronta SHA-256
- Phishing URL Checker: verdetto globale (pulito, sospetto, malevolo), punteggio di rischio (0-100), dettagli per fonte di threat intelligence, diagnostica di copertura
Dettagli degli strumenti
Page Crawl Checker
Analisi completa del crawl di una pagina web dal punto di vista di Googlebot:
| Funzionalità | Descrizione |
|---|---|
| Analisi della dimensione | Peso grezzo e decompresso dell'HTML, rapporto rispetto al limite di 2 MB (o 64 MB per i PDF) |
| Punteggio crawl budget | Voto su 100 che valuta l'efficienza della pagina per il crawl, con dettaglio dei fattori |
| Sotto-risorse | Inventario completo di script, CSS, immagini, font e iframe con dimensione e stato |
| Verifica robots.txt | Accesso Googlebot autorizzato o bloccato, crawl-delay, sitemap dichiarate |
| Header HTTP | Content-Type, Content-Encoding, Cache-Control, X-Robots-Tag, HSTS, Server |
| Redirect lato client | Rilevamento di meta refresh e redirect JavaScript invisibili per Googlebot |
| Confronto mobile/desktop | Differenze di dimensione, header e contenuto tra le versioni smartphone e desktop |
| Impronta SHA-256 | Hash del contenuto per rilevare cambiamenti tra un'analisi e l'altra |
| Rilevamento WAF | Identificazione del firewall applicativo con fallback multi-User-Agent |
Utilità: Diagnosticare i problemi di dimensione e crawl che impattano l'indicizzazione Google, ottimizzare il crawl budget e rilevare i redirect JavaScript che Googlebot non segue.
Phishing URL Checker
Verifica di un URL contro 4 database di threat intelligence:
| Funzionalità | Descrizione |
|---|---|
| 4 fonti interrogate | URLhaus (malware), Google Safe Browsing (phishing), PhishTank (phishing comunitario), VirusTotal (70+ antivirus) |
| Punteggio di rischio | Punteggio ponderato da 0 a 100 in base all'affidabilità di ogni fonte |
| Verdetto globale | Pulito, sospetto, malevolo o indeterminato |
| Dettagli per fonte | Stato individuale, tipi di minacce rilevati e tempo di risposta |
| Formati accettati | URL completo, nome di dominio nudo o indirizzo IP |
| Diagnostica | Informazioni su fonti non disponibili, timeout e copertura limitata |
Utilità: Verificare un link sospetto prima di cliccare, proteggere la tua organizzazione dalle campagne di phishing e verificare che il tuo dominio non sia segnalato per errore (falso positivo).
Casi d'uso concreti
Caso 1: Pagina e-commerce troncata da Googlebot
Sintomo: La FAQ e i link di navigazione in fondo alla tua pagina di categoria non compaiono nei risultati Google.
Diagnosi: Il Page Crawl Checker rivela che la pagina pesa 3,2 MB di HTML. Googlebot tronca a 2 MB e perde gli ultimi 200 prodotti, la FAQ e i link interni del footer.
Azione: Limitare il listing iniziale, usare la paginazione con caricamento differito e spostare la FAQ in alto nella pagina.
Caso 2: Email di phishing bancario
Sintomo: Ricevi un'email urgente dalla tua "banca" con un link di verifica dell'account.
Diagnosi: Il Phishing URL Checker restituisce un punteggio di 75 (elevato). Google Safe Browsing e PhishTank segnalano l'URL come phishing di tipo social engineering.
Azione: Non cliccare. Segnalare l'email come phishing. Accedere al sito della tua banca digitando l'indirizzo direttamente nel browser.
Caso 3: Punteggio crawl budget basso
Sintomo: Google scansiona poche pagine del tuo sito nonostante il contenuto sia aggiornato regolarmente.
Diagnosi: Il Page Crawl Checker mostra un punteggio di 35/100. La pagina carica 85 sotto-risorse, di cui 40 script di terze parti (analytics, widget, AB testing).
Azione: Caricare gli script di terze parti in modo differito (defer/async), rimuovere gli script inutilizzati, attivare la compressione gzip/brotli.
Caso 4: Link abbreviato sospetto in un SMS
Sintomo: Un SMS contiene un link bit.ly che ti chiede di "aggiornare il tuo pacco".
Diagnosi: Dopo aver espanso il link abbreviato, il Phishing URL Checker segnala l'URL finale. URLhaus lo classifica come distribuzione di malware.
Azione: Eliminare l'SMS e bloccare il numero. I servizi di spedizione legittimi non richiedono mai pagamenti via SMS.
❓ FAQ - Domande frequenti
D: Perché analizzare le pagine web con strumenti HTTP?
R: Gli strumenti HTTP rilevano problemi invisibili: pagine troppo pesanti per Googlebot (troncatura oltre i 2 MB), header mal configurati (X-Robots-Tag: noindex dimenticato), redirect JavaScript che Googlebot non segue. Questi problemi impattano direttamente il tuo posizionamento senza alcun avviso nella Search Console.
D: Come verificare se un link è phishing?
R: Incolla l'URL nel Phishing URL Checker. Lo strumento interroga 4 database di threat intelligence in parallelo (URLhaus, Google Safe Browsing, PhishTank, VirusTotal) e restituisce un verdetto con un punteggio di rischio da 0 a 100.
D: Cos'è il limite di 2 MB di Googlebot?
R: Google può scaricare e indicizzare i primi 2.097.152 byte di HTML di una pagina. Oltre questa soglia, il contenuto viene troncato. Il limite si applica all'HTML decompresso: la compressione gzip/brotli non aggira questo limite.
D: Cos'è il crawl budget?
R: Il crawl budget è il numero di pagine che Googlebot può scansionare in un determinato periodo di tempo. Pagine pesanti con molte sotto-risorse consumano più risorse. Il Page Crawl Checker calcola un punteggio su 100 per valutare l'efficienza di ogni pagina.
D: Che differenza c'è tra phishing e malware?
R: Il phishing imita un servizio legittimo per rubare credenziali. Il malware distribuisce software malevolo (virus, ransomware, trojan). Un URL può essere segnalato per entrambi. Il Phishing URL Checker distingue queste categorie nei risultati.
D: Il risultato del Phishing URL Checker è affidabile al 100%?
R: Nessuno strumento garantisce un rilevamento al 100%. La durata media di un URL di phishing è inferiore a 24 ore. Un risultato "pulito" significa che nessuna fonte lo segnala al momento della verifica, non che sia definitivamente sicuro.
D: Come ridurre il peso di una pagina web?
R: Rimuovi CSS e JavaScript inline inutili, attiva la compressione gzip o brotli, esternalizza gli SVG, minimizza l'HTML e usa il lazy loading. Il Page Crawl Checker identifica i punti di miglioramento specifici.
Strumenti complementari
| Strumento | Utilità |
|---|---|
| Ricerca DNS | Verificare i record DNS del tuo dominio |
| Audit di deliverability email | Analizzare MX, SPF, DKIM e DMARC del tuo dominio |
| Verifica della propagazione DNS | Confermare che le tue modifiche DNS sono propagate |
| IP Blacklist Checker | Verificare se un IP è presente nelle blocklist email |
| Domain Blacklist Checker | Verificare se un dominio è in blocklist per spam o phishing |
Risorse utili
- Google - Documentazione sui limiti di crawl (documentazione ufficiale Googlebot)
- Google - Mobile-first indexing (guida al mobile-first indexing)
- Google Safe Browsing (protezione contro i siti pericolosi)
- URLhaus by abuse.ch (database comunitario di URL malevoli)
- HTTP Archive - State of the Web (statistiche sul peso delle pagine web)