Skip to main content

Crawlability / Rastejabilidade

TL;DR

Crawlability assegura um processo suave para que os spiders dos motores de busca rastejem o website de modo a obter informação sobre ele e a indexá-lo.

O que é Crawlability?

A capacidade de rastreamento representa a facilidade dos mecanismos de busca para rastrear um site sem perder o conteúdo essencial ou ter seu rastreador bloqueado. Crawlers ou spiders representam os robots dos motores de busca que rastejam um site de forma a recolher informação sobre o seu conteúdo e classificá-lo adequadamente.

Por que a Crawlability é importante para um site?

Se o bot de um motor de busca rastrear o site corretamente e buscar toda a informação, o site e suas páginas serão indexadas com sucesso.

No entanto, se houver links quebrados ou configuração errada do mapa do site, isso pode levar a alguns problemas de rastreamento, e a aranha do mecanismo de busca não será capaz de acessar, rastrear e indexar conteúdo específico em um site.

Para garantir um rastreamento correto e suave de um site, verifique esta lista de ações a serem evitadas porque elas podem evitar que as aranhas rastejem:

  • Certifique-se de ter um arquivo robots.txt correto e que a meta tag robôs em uma página específica não irá bloquear o rastejador.
  • Verifique os códigos HTTP. Por exemplo, o código de status 200 implicará que a ação foi bem sucedida e que tudo está bem.
  • Verifique os campos do cabeçalho de resposta HTTP que podem ter impacto em sua estratégia de SEO: como a tag x-robots (por exemplo, X-Robots-Tag: noindex); servidor (por exemplo, Server: nginx); localização (certifique-se de que as URLs a serem redirecionadas estão funcionando), e link para mostrar que o recurso solicitado tem uma relação com outros recursos.