必应机器人

TL;博士
Bing bot 是Bing搜索引擎的爬虫,其目的是在 Web 上搜索HTML文件,以将它们记录在 Bing 索引中并对其进行排名。
什么是必应机器人?
Bing 是 Microsoft 拥有的搜索引擎,Bingbot 是他们的标准爬虫,每天处理大多数网站的爬网,包括桌面和移动网络!
Bing 运行五个主要的爬虫:
- 兵机器人。负责对网站进行爬取和索引的标准爬虫
- 微软机器人。这个机器人曾经是 Bingbot 之前的标准爬虫,但它仍然处理一些爬虫任务。
- MSNBot-Media处理 Bing 搜索引擎爬取站点中的图像和视频的爬虫。
- AdIdxBot。表示 Bing Ads 用于抓取广告并跟踪从这些广告链接的网站以进行质量控制的爬虫。
- 必应预览。代表用于生成页面快照的爬虫名称。
要验证 Bingbot 爬虫(或上述列表中的任何其他爬虫)的真实性,您将在用户代理字符串中看到这些名称。但是,用户代理字符串很容易被欺骗,因此仍然可以从看起来像 Bing 爬虫的网站上看到访问,即使它不是。但是,作为一般规则,Bing 不会共享爬取访问的 IP 地址,但为了确保您始终可以使用验证 Bingbot工具来验证爬虫是否真的属于 Bing。
为什么 Bingbot 爬行很重要?
Bingbot 和Bing 网站管理员工具可帮助您提高排名并增加您在Bing 搜索中的自然覆盖面。
要控制爬虫如何与您的网站交互,您有两种选择:
- Robots.txt 文件可以配置为告诉 Bing 爬虫如何与您的网站交互。
- 通过 Bing 网站管理员工具,您可以使用抓取控制工具按小时控制抓取速度。