Crawl Budget

Il crawl budget è il numero di pagine che Googlebot è disposto a scansionare sul tuo sito in un determinato periodo di tempo. Google ha risorse limitate e deve scansionare miliardi di pagine: al tuo sito dedica una quota proporzionale alla sua dimensione e alla sua autorità.

Per un sito da 50 pagine, il crawl budget non è un problema: Google le scansiona tutte senza difficoltà. Diventa critico per e-commerce con migliaia di prodotti, portali con filtri che generano combinazioni infinite di URL, o siti con problemi tecnici che sprecano il budget su pagine inutili. La strategia è semplice: blocca con robots.txt le pagine che non vuoi indicizzare, elimina le catene di redirect, risolvi i 404 e assicurati che le pagine importanti siano raggiungibili in pochi click dalla homepage.