Robots.txt

TL;DR

Robots.txt är ett undantagsprotokoll som gör det möjligt för webbcrawlare att ignorera vissa sidor, mappar eller filer på en webbplats och som används för att förbättra sökmotoroptimeringen.

Om Robots.txt

Robots exclusion standard även kallad robots exclusion protocol (Robots.txt förkortat) är en fil som låter sökmotorns spindlar veta vilka webbsidor eller delar av en webbplats som de inte ska kryssa. Det är viktigt att robots.txt sätts upp korrekt, eftersom ett enda misstag kan leda till att en hel webbplats avindexeras från sökmotorerna.

Varför är Robots.txt viktigt?

Robots.txt är en viktig del av SEO, eftersom alla större sökmotorer känner igen och följer denna uteslutningsstandard. De flesta webbplatser behöver inte detta protokoll eftersom Google endast indexerar de viktiga sidorna på en webbplats och utelämnar resten (t.ex. dubbla sidor), men det finns vissa fall där det rekommenderas att använda robots.txt. Standarden för uteslutning av robotar kan användas för att förhindra indexering av multimedieresurser (t.ex. bilder), blockera sidor som inte är offentliga (t.ex. inloggningssidor för medlemmar) och för att maximera crawlbudgeten.

Exempel på Robot.txt-filer

Grundformatet för en robots.txt-fil är följande: User-agent: ______ Disallow: ______ där user-agent är namnet på den robot som man vänder sig till, och den del som kommer efter "disallow" innehåller namnet på den webbsida, mapp eller fil som roboten måste ignorera när den besöker en webbplats. En asterisk (*) kan användas i stället för namnet på en specifik robot om man vill vända sig till alla robotar som kan besöka webbplatsen. I det här exemplet informeras robotarna om att de inte får gå in i de nämnda katalogerna: User-agent: * Disallow: /tmp/ Disallow:: /tmp/ Disallow: /tmp/ /I det här exemplet informeras crawlers om att de ska undvika en viss fil: User-agent: * Disallow: /directory/file.html