Skip to main content

Crawlability

TL;DR

Crawlabilitatea asigură un proces fără probleme pentru ca spiderii motoarelor de căutare să parcurgă site-ul web pentru a obține informații despre acesta și pentru a-l indexa.

Ce este Crawlability?

Crawlabilitatea reprezintă ușurința motoarelor de căutare de a parcurge un site web fără a pierde conținut esențial sau fără a le fi blocat crawlerul. Crawlerele sau păianjenii reprezintă roboții motoarelor de căutare care parcurg un site web pentru a aduna informații despre conținutul acestuia și pentru a-l clasifica în mod corespunzător.

De ce este importantă Crawlabilitatea pentru un site web?

Dacă un robot al motoarelor de căutare parcurge corect un site web și obține toate informațiile, site-ul web și paginile sale vor fi indexate cu succes.

Cu toate acestea, dacă există linkuri rupte sau o configurare greșită a sitemap-ului, aceasta poate duce la câteva probleme de crawlabilitate, iar păianjenul motorului de căutare nu va putea accesa, târî și indexa conținutul specific al unui site.

Pentru a asigura o crawlare corectă și fără probleme a unui site, verificați această listă de acțiuni care trebuie evitate, deoarece acestea ar putea împiedica crawlingul păianjenilor:

  • Asigurați-vă că aveți un fișier robots.txt corect și că meta tag-ul robots de pe o anumită pagină nu va bloca crawlerul.
  • Verificați codurile HTTP. de exemplu, codul de stare 200 va însemna că acțiunea a reușit și că totul este în regulă.
  • Verificați câmpurile antetului de răspuns HTTP care pot avea un impact asupra strategiei SEO: cum ar fi tag-ul x-robots (de exemplu, X-Robots-Tag: noindex); serverul (de exemplu, Server: nginx); locația (asigurați-vă că URL-urile care urmează să fie redirecționate funcționează) și link-ul pentru a arăta că resursa solicitată are o relație cu alte resurse.