蜘蛛/网络爬虫

TL;DR

网络爬虫，也被称为蜘蛛或机器人，在万维网上爬行，为搜索引擎编制网页索引，因此搜索特定关键词后给出的结果是相关的。

什么是网络爬虫？

网络爬虫、蜘蛛或搜索引擎机器人（如Googlebot或Bingbot），通过自动访问一个网站并浏览其中的所有链接，对互联网上的内容进行抓取、下载和索引。

网络爬虫如何工作？

搜索引擎几乎总是操作机器人，以便收集、索引和提供相关链接，以回应用户的搜索查询（关键词）。

搜索引擎爬虫机器人的作用非常类似于一个人组织整个图书馆，并创建一个易于检查的页面或所有书籍的目录，以便轻松找到它们；同样，机器人组织整个网络的页面，并根据一个人搜索的内容显示相关的页面。

新的网页和网站每秒钟都在更新和发布，网络爬虫的主要目标是从已知的URL列表开始爬行，然后继续，因为它们会发现其他URL的超链接，它们会将这些链接添加到下一步要爬行的网页列表中。