Hvad er Crawl traps?
Crawl traps er fejlkilder på et website, der får søgemaskinernes crawlere til at bruge unødig tid og ressourcer på at gennemgå uendelige eller næsten identiske URL’er. Disse tekniske problemer kan føre til, at vigtige sider ikke bliver opdaget eller opdateret korrekt i søgeresultaterne.
Hvornår bruges det?
Begrebet crawl traps bruges især, når SEO-specialister gennemgår tekniske problemer, der kan bremse indeksering og forringe sidehierarki. Det er vigtigt at identificere crawl traps for at sikre, at crawl-budgettet bliver brugt effektivt, og at kun relevante sider indekseres. Typisk opstår crawl traps ved fejlagtige interne links, filterparametre i URL’er eller auto-genererede kalendere.
Eksempel: Et e-commerce site har mange filtermuligheder, der skaber tusindvis af URL-varianter med kun små forskelle, såsom “?color=red&sort=price”. Det kan resultere i, at crawleren bruger for meget tid på uvigtige sider, mens centrale produktkategorier bliver nedprioriteret i crawlingen.
Typiske fejl
- Ignorering af URL-parametre, så crawleren får adgang til unødvendige varianter.
- Ingen brug af robots.txt eller noindex for at stoppe indeksering af uvigtige sider.
- Manglende overvågning af crawl-logfiler, som kan afsløre crawl traps.
Relaterede begreber: Crawl-budget, indeksering, URL-parametre.
