Saltar al contenido principal
Sobre Nosotros

Googlebot

TL;DR

Googlebot es el rastreador de Google utilizado para escanear automáticamente sitios web siguiendo enlaces de una página a otra y añadirlos al índice en función de su relevancia.

¿Qué es Googlebot?

Googlebot, como su nombre indica, es el crawler de Google (también llamado bosts) encargado de rastrear sitios web. Googlebot es el nombre general dado a:

  • Un rastreador de escritorio que simula a un usuario en el escritorio (Googlebot Desktop).
  • Un rastreador móvil que simula a un usuario en un dispositivo móvil (Googlebot Smartphone).

¿Por qué y cómo accede Googlebot a su sitio?

El objetivo de Googlebot es rastrear y escanear todos los sitios web y sus páginas a través de enlaces: básicamente, Googlebot encuentra y lee todo el contenido nuevo o actualizado y lo añade al índice en función de su relevancia. Las visitas creadas por los rastreadores de Google se pueden mostrar en los registros de referencia y se deben especificar en robots.txt.

El objetivo de Googlebot es rastrear tantas páginas de un sitio como sea posible, pero también respetar los enlaces de rechazo seleccionados por el propietario del sitio web:

  • El rastreo puede tardar desde unos pocos días hasta unas pocas semanas, pero siempre se puede supervisar el progreso utilizando las herramientas de Google: Informe de estado del índice o la herramienta de inspección de URL.
  • Solicitar una nueva búsqueda varias veces para la misma URL o mapa de sitio no hará que se rastree más rápido.
  • La mejor manera de verificar que una solicitud proviene realmente de Googlebot es utilizar una búsqueda inversa de DNS en la IP de origen de la solicitud.
  • Google combate activamente a los spammers; si observas páginas o sitios de spam en los resultados de la búsqueda de Google, puedes informar de ello a Google.
  • Si desea evitar que Googlebot rastree el contenido de su sitio, dispone de varias opciones. Tenga en cuenta la diferencia entre impedir que Googlebot rastree una página, impedir que Googlebot indexe una página y evitar que una página sea accesible en absoluto tanto para los rastreadores como para los usuarios.
  • El rastreo puede tardar entre unos días y unas semanas, pero siempre puede supervisar el progreso con cualquiera de las herramientas de Google: Informe de estado del índice o la herramienta de inspección de URL.
  • Si solicita un rastreo varias veces para la misma URL o el mismo mapa de sitio, no conseguirá que se rastree más rápidamente.
  • La mejor manera de verificar que una solicitud proviene realmente de Googlebot es utilizar una búsqueda DNS inversa en la IP de origen de la solicitud.
  • Google lucha activamente contra los spammers; si observa páginas o sitios de spam en los resultados de búsqueda de Google, puede informar de ello a Google.
  • Si desea evitar que Googlebot rastree el contenido de su sitio, dispone de varias opciones. Tenga en cuenta la diferencia entre impedir que Googlebot rastree una página, impedir que la indexe o impedir que los rastreadores o los usuarios puedan acceder a una página.