
TL;DR
Googlebot è il crawler di Google utilizzato per analizzare automaticamente i siti web seguendo i link da una pagina all'altra e aggiungendoli all'indice in base alla rilevanza.
Cos'è Googlebot?
Googlebot, come dice il nome, è il crawler di Google (chiamato anche bot) incaricato di scansionare i siti web. Googlebot è il nome generale dato a:
- Un crawler desktop che simula un utente sul desktop (Googlebot Desktop).
- Un crawler mobile che simula un utente su un dispositivo mobile (Googlebot Smartphone).
Come fa Googlebot ad accedere al tuo sito?
Lo scopo di Googlebot è quello di scansionare e analizzare tutti i siti web e le loro pagine tramite link: in pratica, Googlebot trova e legge tutti i contenuti nuovi o aggiornati e li aggiunge all'indice in base alla loro rilevanza. Le visite create dai crawler di Google possono essere visualizzate nei log dei referrer, e dovrebbero essere specificate nel robots.txt.
Googlebot scansiona il maggior numero possibile di pagine di un sito, ma rispettando anche i link di disavow selezionati dal proprietario del sito. Per chiedere a Google di (ri)indicizzare un sito web, si prega di notare queste linee guida generali: