Skip to main content

Crawling

TL;DR

Le crawling d'un site web pour le référencement représente le processus de collecte de données sur les sites web par les robots afin de les indexer et de les classer en conséquence.

 

Que signifie "crawling" ?

L'exploration d'un site web est le processus par lequel les robots des moteurs de recherche acquièrent des données sur un site web en scannant son contenu, ses titres, ses images, ses vidéos, ses hyperliens, ses textes d'ancrage, ses mots clés, ses balises alt et sa structure. Cela permet au moteur de recherche de mieux comprendre le type de site web, sa pertinence et de trouver un contenu actualisé sur le web : nouveaux sites ou pages, changements de contenu ou liens non fonctionnels. Toutes les informations collectées sont traitées et indexées par les moteurs de recherche, puis classées dans le SERP en conséquence.

Pourquoi le crawling pour un site web ?

Si un site web n'est pas correctement indexé par l'araignée du moteur de recherche, les pages ne peuvent pas être indexées. Cela signifie qu'elles n'apparaîtront pas dans les pages de résultats du moteur de recherche lorsque quelqu'un tape une requête pour rechercher quelque chose sur le même sujet que le site.

Pour comprendre facilement comment fonctionne le crawling, imaginez une araignée qui va chercher quelques pages web, puis suivez les liens de ces pages et allez les chercher aussi. Puis elle suit les nouveaux liens et va chercher les pages vers lesquelles ils pointent, et ainsi de suite, jusqu'à obtenir une liste actualisée d'adresses web. Cela se fait en un clin d'œil, voire en moins de temps.

Le processus d'exploration commence par une liste d'explorations qui a été réalisée dans le passé et des plans de site fournis par les propriétaires de sites web aux moteurs de recherche.