谷歌机器人

TL;博士

Googlebot 是 Google 的爬虫，用于通过跟踪从一个页面到另一个页面的链接并根据相关性将它们添加到索引来自动扫描网站。

什么是谷歌机器人？

Googlebot，顾名思义，就是谷歌的爬虫（也叫bots），负责爬取网站。 Googlebot 是给以下对象的通用名称：

• 在桌面上模拟用户的桌面爬虫（Googlebot 桌面）。
• 在移动设备（Googlebot 智能手机）上模拟用户的移动爬虫。

Googlebot 如何访问您的网站？

Googlebot 的目的是通过链接抓取和扫描所有网站及其页面：基本上，Googlebot 查找并读取所有新的或更新的内容，并根据其相关性将其添加到索引中。 Google 爬虫创建的访问可能会显示在引荐来源日志中，并且应在 robots.txt 中指定。

Googlebot 会从网站上抓取尽可能多的页面，但也会尊重网站所有者选择的拒绝链接。要要求 Google （重新）索引网站，请注意以下一般准则：