Hvad er X-Robots-Tag header?
X-Robots-Tag header er en HTTP-header, der bruges til at styre, hvordan søgemaskiner skal indeksere og følge indhold på et website. I modsætning til metatags, der indsættes i HTML-koden, implementeres X-Robots-Tag direkte på serverniveau via HTTP-svar. Det gør det muligt at styre indeksering af ikke-HTML-filer som PDF’er eller billeder.
Hvornår bruges det?
En X-Robots-Tag header benyttes typisk, når man vil forhindre søgemaskiner i at indeksere bestemte filer eller sider, som ikke egner sig til søgning. Det kan for eksempel være PDF-dokumenter, billeder eller videoer, hvor man ikke ønsker indeksering eller visning i søgeresultater. Desuden er headeren nyttig, hvis man har dynamisk genererede filer eller adgangsbeskyttet indhold, hvor meta robots-tags ikke er mulige at indsætte.
Eksempel: Hvis en virksomhed uploader tekniske manualer som PDF-filer, og ikke ønsker at disse vises i Google, kan de tilføje følgende header til PDF-filerne: X-Robots-Tag: noindex, noarchive. Så ignorerer søgemaskinerne indholdet.
Typiske fejl
- Glemmer at tilføje header på alle relevante filtyper.
- Kombinerer modstridende instruktioner (f.eks. både noindex og index).
- Sætter X-Robots-Tag på HTML-sider, hvor meta robots-tag allerede anvendes korrekt.
Relaterede begreber: Meta robots-tag, noindex, HTTP header
