Hvad er Crawl budget?
Crawl budget refererer til det antal sider på et website, som søgemaskiner som Google vælger at crawle inden for en given tidsperiode. Crawl budget afhænger af både websitets størrelse, kvalitet og serverens kapacitet samt hvor ofte indholdet opdateres. For store websites kan crawl budget være en vigtig faktor for, hvor hurtigt nye eller opdaterede sider bliver opdaget og indekseret.
Hvornår bruges det?
Crawl budget bliver især relevant for store websites med mange tusinde sider, hvor kun en del af indholdet får opmærksomhed fra søgemaskinernes crawlere. Ved at optimere crawl budget kan man sikre, at vigtige sider bliver crawlet og indekseret hurtigere, mens mindre relevante eller teknisk problematiske sider ikke spilder crawl ressourcer. Det kan også bruges til at analysere og forbedre tekniske SEO-forhold, hvis nye sider ikke bliver indekseret så hurtigt som ønsket.
Eksempel: Et e-commerce site med 50.000 produktsider opdager, at nye produktsider først dukker op i Google efter flere uger. Ved at optimere interne links og fjerne forældede sider fra crawl, prioriteres de mest relevante produkter, så Google finder og indekserer dem hurtigere.
Typiske fejl
- At lade tusindvis af ubrugelige eller duplikerede sider være åbne for crawl.
- At blokere vigtige sider ved en fejl via robots.txt eller noindex.
- Ikke at rette fejl, der får crawlere til at bruge tid på 404-sider eller omdirigeringer.
Relaterede begreber: Indeksering, Robots.txt, Intern linkstruktur.
