Hvad er Crawling?
Crawling er processen, hvor søgemaskiner som Google systematisk besøger og gennemgår indholdet på websider. Gennem crawling finder og indekserer søgemaskiner nye og opdaterede sider, så de kan vises i søgeresultaterne. En crawler (også kaldet en robot eller bot) følger links fra side til side for at kortlægge hjemmesiden.
Hvornår bruges det?
Crawling bruges, når man vil sikre, at nye eller ændrede sider på et website bliver opdaget og kan vises i søgemaskiner som Google. Dette er vigtigt, hvis man eksempelvis lancerer et nyt website, tilføjer nye produktsider eller opdaterer eksisterende indhold. SEO-specialister overvåger crawl-status for at finde tekniske fejl og sikre, at vigtig information hurtigt bliver indekseret og synlig for brugerne.
Eksempel: En webshop ejer tilføjer 100 nye produkter til sin hjemmeside. Ved at sikre, at siden er optimeret til crawling, kan ejeren kontrollere, at Google hurtigt finder og viser de nye produktsider i søgeresultaterne.
Typiske fejl
- Blokerer vigtige sider ved fejl i robots.txt-filen.
- Mangler interne links, så enkelte sider ikke bliver fundet af crawlers.
- Overdreven brug af dynamiske URL’er, som forvirrer eller spilder crawl budgettet.
Relaterede begreber: Indeksering, robots.txt, sitemap
