Googlebot

TL;DR

Googlebot - это гусеничный Google's crawler, используемый для автоматического сканирования веб-сайтов, переходя по ссылкам с одной страницы на другую и добавляя их в индекс на основе релевантности.

Что такое Googlebot?

Googlebot, как говорится в названии, - это гусеничный Google (также называемый bosts), отвечающий за ползучие веб-сайты. Googlebot - это общее название:

• Настольный гусеничный компьютер, который моделирует пользователя на рабочем столе (Googlebot Desktop).
• Мобильный гусеничный движок, имитирующий пользователя на мобильном устройстве (смартфоне Googlebot).

Как Googlebot получает доступ к вашему сайту?

Целью Googlebot является сканирование всех веб-сайтов и их страниц по ссылкам: в основном, Googlebot находит и считывает все новое или обновленное содержание и добавляет его в индекс на основании его релевантности. Визиты, созданные поисковыми системами Google, могут отображаться в журналах ссылок, и они должны быть указаны в файле robots.txt.

Целью Googlebot является сканирование как можно большего количества страниц с сайта, но с уважением относится и к дезавуируемым ссылкам, выбранным владельцем сайта. Чтобы попросить Google (ре)индексировать сайт, пожалуйста, обратите внимание на эти общие рекомендации: