Googles team for crawling og indeksering fortæller, at crawl budget er sammensat af crawl rate limit og crawl demand.
Crawl rate limit er en slags øvre grænse for crawl-frekvensen af en bestemt URL.
URL’er, som ofte bliver opdateret, vedligeholdt eller på anden måde ændret, har en høj crawl demand.
Google kombinerer crawl rate limit og crawl demand og definerer på denne baggrund crawl budgettet – hvor mange URL’er på en hjemmeside botten kan og vil crawle og hvor ofte.
URL’er med duplicate content, mange reklamer eller tyndt indhold vil som udgangspunkt have et lavt crawl budget.
I de fleste tilfælde er crawl budget ikke noget, som du eller din webmaster skal bekymre sig om. Hvis din webside har færre end tusind URL’er, er der rigeligt med luft i budgettet. Meget store websider og websider, der benytter facetteret søgning, skal medtænke crawl budget.
Der er ikke nogen direkte sammenhæng mellem crawl-frekvensen og placeringen af en URL blandt søgeresultaterne, da der er andre faktorer, som i langt højere grad har indflydelse på rangeringen.
