Robots.txt

TL;DR

Robots.txt este un protocol de excludere pentru ca crawlerele web să ignore anumite pagini, foldere sau fișiere de pe un site web și este utilizat pentru a îmbunătăți optimizarea motoarelor de căutare.

Despre Robots.txt

Standardul de excludere a roboților, denumit și protocolul de excludere a roboților (Robots.txt pe scurt) este un fișier care permite păianjenilor motoarelor de căutare să știe ce pagini web sau secțiuni ale unui site web nu trebuie să parcurgă. Este important ca fișierul robots.txt să fie configurat corect, deoarece o singură greșeală poate face ca un întreg site web să fie dezindexat de motoarele de căutare.

De ce este Robots.txt important?

Robots.txt este o parte importantă a SEO, deoarece toate motoarele de căutare majore recunosc și respectă acest standard de excludere. Majoritatea site-urilor nu au nevoie de acest protocol, deoarece Google va indexa doar paginile importante ale unui site web, lăsând restul (de exemplu, paginile duplicate), dar există unele cazuri în care este recomandat să se folosească robots.txt. Standardul de excludere a roboților poate fi utilizat pentru a împiedica indexarea resurselor multimedia (de exemplu, imagini), pentru a bloca paginile care nu sunt publice (de exemplu, paginile de autentificare a membrilor) și pentru a maximiza bugetul de căutare.

Exemple de fișiere Robot.txt

Formatul de bază al fișierului robots.txt este următorul: "Robot.txt": User-agent: ______ Disallow: ______ Unde user-agent este numele robotului căruia i se adresează, iar partea care vine după "disallow" va conține numele paginii web, al folderului sau al fișierului pe care robotul trebuie să îl ignore atunci când vizitează un site web. Se poate folosi un asterisc (*) în locul numelui unui robot specific, dacă se dorește să se adreseze tuturor roboților care ar putea vizita site-ul web. În acest exemplu, crawlerele sunt informate să nu intre în directoarele menționate: User-agent: * Disallow: /tmp/ Disallow: /junk/ În timp ce în acest exemplu, crawlerele sunt informate să evite un anumit fișier: User-agent: * Disallow: /directory/file.html