Hvad er Crawl delay directives?
Crawl delay directives er instruktioner, der bruges i en websites robots.txt-fil til at fortælle søgemaskinebotter, hvor lang tid de skal vente mellem hver crawling-anmodning. En crawl delay directive hjælper med at styre, hvor aggressivt bots som Googlebot eller Bingbot gennemgår websiden. Dette bruges især for at undgå serveroverbelastning fra hurtig eller hyppig crawling.
Hvornår bruges det?
Crawl delay directives anvendes typisk, når et website oplever performanceproblemer forårsaget af for mange crawling-anmodninger på kort tid. Websteder med begrænsede serverressourcer eller mange dynamisk genererede sider kan bruge denne directive for at sikre stabil drift, mens søgemaskiner stadig kan indeksere indhold over tid. I nogle tilfælde kan det også være relevant for udviklingsmiljøer eller mindre sites, som ønsker at undgå ekstra pres på serveren.
Eksempel: En mindre webshop oplever, at når Bingbot crawler tusindvis af produktsider hurtigt, bliver websitet langsomt for brugerne. Ved at indstille Crawl-delay: 10 for Bingbot i robots.txt, sikres det, at der går mindst 10 sekunder mellem hver forespørgsel, hvilket aflaster serveren.
Typiske fejl
- Antager at Googlebot respekterer crawl delay directives (Google ignorerer dem generelt)
- Indstiller for høj crawl delay og reducerer dermed synlighed i søgemaskiner
- Placerer crawl delay directives forkert i robots.txt eller bruger forkert syntaks
Relaterede begreber: Robots.txt, Crawl budget, User-agent
