Robots.txt

TL;DR

Robots.txt je vylučovací protokol pro webové prohlížeče, který umožňuje ignorovat určité stránky, složky nebo soubory na webových stránkách a používá se pro zlepšení optimalizace pro vyhledávače.

O souboru Robots.txt

Standard pro vyloučení robotů označovaný také jako protokol pro vyloučení robotů (zkráceně Robots.txt) je soubor, který pavoukům vyhledávačů umožňuje zjistit, které webové stránky nebo části webu nemají procházet. Je důležité, aby byl soubor robots.txt správně nastaven, protože jediná chyba může způsobit deindexaci celého webu z vyhledávačů.

Proč je soubor robots.txt důležitý?

Soubor Robots.txt je důležitou součástí SEO, protože všechny hlavní vyhledávače tento vylučovací standard uznávají a dodržují. Většina webů tento protokol nepotřebuje, protože Google indexuje pouze důležité stránky webu a ostatní (např. duplicitní stránky) vynechá, ale existují případy, kdy se použití robots.txt doporučuje. Standard pro vyloučení robotů lze použít k zabránění indexování multimediálních zdrojů (např. obrázků), blokování stránek, které nejsou veřejné (např. přihlašovací stránky pro členy), a k maximalizaci rozpočtu na procházení.

Příklady souborů robot.txt

Základní formát souboru robots.txt je následující: User-agent: ______ Zakázat: ______ Kde user-agent je název osloveného robota a část, která následuje za "disallow", bude obsahovat název webové stránky, složky nebo souboru, který musí robot při návštěvě webové stránky ignorovat. Hvězdičku (*) lze použít místo jména konkrétního robota, pokud chcete oslovit všechny roboty, kteří mohou webovou stránku navštívit. V tomto příkladu jsou roboty informovány, aby nevstupovaly do uvedených adresářů: User-agent: * Zakázat: /tmp/ Zakázat: /V tomto případě jsou crawlery informovány, aby se vyhnuly konkrétnímu souboru: User-agent:: * Disallow: /directory/file.html