Skip to main content

Robots.txt

TL;DR

Robots.txt er en eksklusjonsprotokoll for webcrawlere til å ignorere bestemte sider, mapper eller filer på et nettsted, og brukes til å forbedre søkemotoroptimalisering.

Om Robots.txt

Robotekskluderingsstandard også referert til som robotekskluderingsprotokollen (Robots.txt for kort) er en fil som lar søkemotoredderkopper vite hvilke nettsider eller deler av et nettsted som ikke skal gjennomsøkes. Det er viktig at robots.txt settes opp riktig, siden en enkelt feil kan få en hel nettside deindeksert fra søkemotorer.

Hvorfor er Robots.txt viktig?

Robots.txt er en viktig del av SEO, ettersom alle store søkemotorer gjenkjenner og adlyder denne ekskluderingsstandarden. De fleste nettsteder trenger ikke denne protokollen, da Google kun vil indeksere de viktige sidene på et nettsted, og utelate resten (f.eks. dupliserte sider), men det er noen tilfeller der det anbefales å bruke robots.txt. Robotekskluderingsstandarden kan brukes til å forhindre indeksering av multimedieressurser (f.eks. bilder), blokkere sider som ikke er offentlige (f.eks. medlemspåloggingssider) og for å maksimere gjennomsøkingsbudsjettet.

Eksempler på Robot.txt-filer

Grunnformatet for robots.txt-filen er: User-agent: ______ Disallow: ______ Der user-agent er navnet på roboten som adresseres, og delen som kommer etter "disallow" vil inneholde navnet på nettsiden , mappe eller fil som roboten må ignorere mens han besøker et nettsted. En stjerne (*) kan brukes i stedet for navnet på en spesifikk bot, hvis man ønsker å adressere alle robotene som kan besøke nettstedet. I dette eksemplet blir robotsøkeprogrammene informert om ikke å gå inn i de nevnte katalogene: Bruker-agent: * Disallow: /tmp/Disallow: /søppel/Mens de er i denne, blir robotsøkerne informert om å unngå en spesifikk fil: Bruker-agent: * Disallow: /katalog/fil.html