Skip to main content
Über uns

Googlebot

TL;DR

Googlebot ist der Crawler von Google, der verwendet wird, um Websites automatisch zu scannen, indem er Links von einer Seite zur anderen folgt und sie dem Index basierend auf der Relevanz hinzufügt.

Was ist Googlebot?

Googlebot, wie der Name schon sagt, ist Googles Crawler (auch Bosts genannt), der für das Crawlen von Websites zuständig ist. Googlebot ist der allgemeine Name, der für Folgendes steht:

  • Ein Desktop-Crawler, der einen Benutzer auf dem Desktop simuliert (Googlebot Desktop).
  • Ein mobiler Crawler, der einen Benutzer auf einem mobilen Gerät (Googlebot Smartphone) simuliert.

Warum und wie Googlebot auf Ihre Website zugreift?

Ziel von Googlebot ist es, alle Websites und deren Seiten über Links zu durchsuchen und zu scannen: Googlebot findet und liest im Grunde genommen alle neuen oder aktualisierten Inhalte und fügt sie dem Index nach ihrer Relevanz hinzu. Die von den Google-Crawlern erstellten Besuche können in den Referrer-Protokollen angezeigt werden und sollten in der robots.txt angegeben werden.

Das Ziel des Googlebots ist es, so viele Seiten wie möglich von einer Website zu durchsuchen, aber auch die vom Website-Besitzer ausgewählten Verweise zu respektieren; um Google zu bitten, eine Website (neu) zu indizieren, beachten Sie bitte diese allgemeinen Richtlinien:

  • Das Crawling kann zwischen einigen Tagen und einigen Wochen dauern, aber Sie können den Fortschritt jederzeit mit einem der beiden Google-Tools überwachen: Index-Statusbericht oder das URL-Inspektionstool.
  • Wenn Sie für dieselbe URL oder Sitemap mehrmals einen Recrawl anfordern, wird die Anfrage nicht schneller gecrawlt.
  • Der beste Weg, um zu überprüfen, ob eine Anfrage tatsächlich von Googlebot kommt, ist die Verwendung einer Reverse-DNS-Suche der Quell-IP der Anfrage.
  • Google kämpft aktiv gegen Spammer; wenn Sie in den Google-Suchergebnissen Spam-Seiten oder -Websites bemerken, können Sie Spam an Google melden.
  • Wenn Sie verhindern möchten, dass Googlebot den Inhalt Ihrer Website crawlt, haben Sie verschiedene Möglichkeiten. Beachten Sie den Unterschied zwischen dem Verhindern des Crawlens einer Seite durch Googlebot, dem Verhindern der Indizierung einer Seite durch Googlebot und dem Verhindern des Zugriffs auf eine Seite sowohl durch Crawler als auch durch Nutzer.