Skip to main content

Crawlability / Crawlabilité

TL;DR

La fonction de crawl permet aux robots des moteurs de recherche d'explorer le site web afin d'obtenir des informations sur celui-ci et de l'indexer.

Qu'est-ce que la navigabilité ?

La navigabilité représente la facilité avec laquelle les moteurs de recherche peuvent explorer un site web sans manquer le contenu essentiel ou bloquer leur robot d'exploration. Les crawlers ou araignées représentent les robots des moteurs de recherche qui parcourent un site web afin de recueillir des informations sur son contenu et de le classer correctement.

Pourquoi la navigabilité est-elle importante pour un site web ?

Si le robot d'un moteur de recherche parcourt correctement le site web et récupère toutes les informations, le site web et ses pages seront indexés avec succès.

Toutefois, si les liens sont rompus ou si le plan du site est mal configuré, cela peut entraîner quelques problèmes d'explorabilité, et l'araignée du moteur de recherche ne pourra pas accéder, explorer et indexer le contenu spécifique d'un site.

Pour assurer un bon fonctionnement du site, consultez la liste des actions à éviter car elles pourraient empêcher les araignées de le parcourir :

  • Assurez-vous d'avoir un fichier robots.txt correct et que la balise meta des robots sur une page spécifique ne bloque pas le crawler.
  • Vérifiez les codes HTTP. Par exemple, le code d'état 200 implique que l'action a réussi et que tout va bien.
  • Vérifiez les champs de l'en-tête de la réponse HTTP qui peuvent avoir un impact sur votre stratégie de référencement : comme la balise x-robots (par exemple, X-Robots-Tag : noindex) ; le serveur (par exemple, Server : nginx) ; l'emplacement (assurez-vous que les URL à rediriger fonctionnent), et le lien qui montre que la ressource demandée a une relation avec d'autres ressources.