Spider / Web Crawler

TL;DR

Les robots d'exploration du Web, également appelés araignées ou bots, parcourent le World Wide Web afin d'indexer les pages pour les moteurs de recherche, de sorte que les résultats obtenus après la recherche d'un mot clé spécifique soient pertinents.

Qu'est-ce qu'un crawler ?

Un crawler, une araignée ou un robot de moteur de recherche (tel que Googlebot ou Bingbot) parcourt, télécharge et indexe le contenu de tout l'Internet en accédant automatiquement à un site Web et en parcourant tous les liens qu'il contient.

Comment fonctionnent les robots d'exploration du Web ?

Les moteurs de recherche utilisent presque toujours des robots afin de collecter, d'indexer et de fournir des liens pertinents en réponse aux requêtes de recherche des utilisateurs (mots clés).

Le rôle d'un robot d'exploration de moteur de recherche est très similaire à celui d'une personne qui organiserait une bibliothèque entière et créerait une page ou un catalogue facile à consulter pour retrouver facilement tous les livres ; de la même manière, les robots organisent les pages du Web et affichent celles qui sont pertinentes en fonction de ce qu'une personne recherche.

De nouvelles pages et de nouveaux sites sont mis à jour et publiés chaque seconde. L'objectif principal des robots d'exploration du Web est de commencer l'exploration à partir d'une liste d'URL connues et de continuer à trouver des hyperliens vers d'autres URL, qu'ils ajoutent à la liste des pages à explorer ensuite.