Skip to main content

Googlebot

TL;DR

Googlebot is Google's crawler die websites automatisch scant door links van de ene pagina naar de andere te volgen en ze aan de index toe te voegen op basis van relevantie.

Wat is Googlebot?

Googlebot is, zoals de naam al zegt, Google's crawler (ook wel bots genoemd) die verantwoordelijk is voor het crawlen van websites. Googlebot is de algemene naam die gegeven wordt aan:

  • Een desktop crawler die een gebruiker op de desktop simuleert (Googlebot Desktop).
  • Een mobiele crawler die een gebruiker op een mobiel toestel simuleert (Googlebot Smartphone).

Hoe krijgt Googlebot toegang tot uw site?

Het doel van Googlebot is om alle websites en hun pagina's via links te crawlen en te scannen: in principe vindt en leest Googlebot alle nieuwe of bijgewerkte inhoud en voegt deze toe aan de index op basis van de relevantie ervan. De bezoeken die door de Google crawlers worden gemaakt, kunnen worden weergegeven in de referrer logs, en ze moeten worden gespecificeerd in robots.txt.

Googlebot crawlt zoveel mogelijk pagina's van een site, maar respecteert ook de disavow links die door de website-eigenaar zijn geselecteerd. Om Google te vragen een website te (her)indexeren, gelieve deze algemene richtlijnen in acht te nemen: