TL;DR
Crawlability assegura um processo suave para que os spiders dos motores de busca rastejem o website de modo a obter informação sobre ele e a indexá-lo.
O que é Crawlability?
A capacidade de rastreamento representa a facilidade dos mecanismos de busca para rastrear um site sem perder o conteúdo essencial ou ter seu rastreador bloqueado. Crawlers ou spiders representam os robots dos motores de busca que rastejam um site de forma a recolher informação sobre o seu conteúdo e classificá-lo adequadamente.
Por que a Crawlability é importante para um site?
Se o bot de um motor de busca rastrear o site corretamente e buscar toda a informação, o site e suas páginas serão indexadas com sucesso.
No entanto, se houver links quebrados ou configuração errada do mapa do site, isso pode levar a alguns problemas de rastreamento, e a aranha do mecanismo de busca não será capaz de acessar, rastrear e indexar conteúdo específico em um site.
Para garantir um rastreamento correto e suave de um site, verifique esta lista de ações a serem evitadas porque elas podem evitar que as aranhas rastejem:
- Certifique-se de ter um arquivo robots.txt correto e que a meta tag robôs em uma página específica não irá bloquear o rastejador.
- Verifique os códigos HTTP. Por exemplo, o código de status 200 implicará que a ação foi bem sucedida e que tudo está bem.
- Verifique os campos do cabeçalho de resposta HTTP que podem ter impacto em sua estratégia de SEO: como a tag x-robots (por exemplo, X-Robots-Tag: noindex); servidor (por exemplo, Server: nginx); localização (certifique-se de que as URLs a serem redirecionadas estão funcionando), e link para mostrar que o recurso solicitado tem uma relação com outros recursos.
