Googlebot

TL;DR

Googlebot è il crawler di Google utilizzato per analizzare automaticamente i siti web seguendo i link da una pagina all'altra e aggiungendoli all'indice in base alla rilevanza.

Cos'è Googlebot?

Googlebot, come dice il nome, è il crawler di Google (chiamato anche bot) incaricato di scansionare i siti web. Googlebot è il nome generale dato a:

• Un crawler desktop che simula un utente sul desktop (Googlebot Desktop).
• Un crawler mobile che simula un utente su un dispositivo mobile (Googlebot Smartphone).

Come fa Googlebot ad accedere al tuo sito?

Lo scopo di Googlebot è quello di scansionare e analizzare tutti i siti web e le loro pagine tramite link: in pratica, Googlebot trova e legge tutti i contenuti nuovi o aggiornati e li aggiunge all'indice in base alla loro rilevanza. Le visite create dai crawler di Google possono essere visualizzate nei log dei referrer, e dovrebbero essere specificate nel robots.txt.

Googlebot scansiona il maggior numero possibile di pagine di un sito, ma rispettando anche i link di disavow selezionati dal proprietario del sito. Per chiedere a Google di (ri)indicizzare un sito web, si prega di notare queste linee guida generali: