Googlebot

TL;DR

Googlebot est le crawler de Google utilisé pour scanner automatiquement les sites web en suivant les liens d'une page à l'autre et les ajouter à l'index en fonction de leur pertinence.

Qu'est-ce que Googlebot ?

Googlebot, comme son nom l'indique, est le crawler de Google (également appelé bosts) chargé d'explorer les sites web. Googlebot est le nom général donné pour :

• Un crawler de bureau qui simule un utilisateur sur le bureau (Googlebot Desktop).
• Un crawler mobile qui simule un utilisateur sur un appareil mobile (Googlebot Smartphone).

Comment Googlebot accède-t-il à votre site ?

L'objectif de Googlebot est d'explorer et de scanner tous les sites web et leurs pages via des liens : en gros, Googlebot trouve et lit tout le contenu nouveau ou mis à jour et l'ajoute à l'index en fonction de sa pertinence. Les visites créées par les crawlers de Google peuvent être affichées dans les journaux de référence, et elles doivent être spécifiées dans le fichier robots.txt.

L'objectif du Googlebot est de parcourir le plus grand nombre possible de pages d'un site mais aussi de respecter les liens de désaveu sélectionnés par le propriétaire du site. Pour demander à Google de (ré)indexer un site web, veuillez prendre note de ces directives générales :