Hvad er Robots.txt?
Robots.txt er en tekstfil, der placeres i roden af et website for at instruere søgemaskiners crawlere om, hvilke sider eller områder de ikke må tilgå. Robots.txt hjælper webstedsejere med at styre indekseringen af indhold og beskytte følsomme eller irrelevante sektioner mod offentlig indeksering. Filen er offentlig tilgængelig, men fungerer kun som en vejledning – ikke som en garanti for, at siderne holdes skjulte.
Hvornår bruges det?
Robots.txt anvendes især, når visse dele af et website ikke bør indekseres, f.eks. interne søgesider, testområder eller dubleret indhold. Det kan også bruges til at styre crawl-budgettet, så søgemaskinernes ressourcer fokuseres på de vigtigste sider. Desuden kan man midlertidigt blokere udviklingsmiljøer fra at blive opdaget af Google og andre søgemaskiner.
Eksempel: En webshop vil undgå, at resultatsider fra interne søgefunktioner bliver indekseret. Webstedsejeren tilføjer Disallow: /search til robots.txt, så søgemaskiner ikke crawler eller indekserer URL’er, der starter med /search.
Typiske fejl
- Blokerer hele sitet ved en fejl med
Disallow: /. - Antager, at robots.txt skjuler sider for brugere eller beskytter følsomt indhold.
- Glemmer at fjerne blokeringer, når et site flyttes fra test til live.
Relaterede begreber: Meta robots-tag, crawling, indeksering
