Skip to main content

机器人.txt

TL;博士

Robots.txt 是网络爬虫忽略网站上某些页面、文件夹或文件的排除协议,用于改进搜索引擎优化。

关于机器人.txt

机器人排除标准也称为机器人排除协议(简称Robots.txt)是一个文件,它可以让搜索引擎蜘蛛知道哪些网页或网站的哪些部分不要抓取。正确设置 robots.txt 非常重要,因为一个错误可能会使整个网站从搜索引擎中被取消索引。

为什么 Robots.txt 很重要?

Robots.txt 是 SEO 的重要组成部分,因为所有主要搜索引擎都认可并遵守此排除标准。大多数网站不需要此协议,因为 Google 只会索引网站的重要页面,而忽略其余部分(例如重复页面),但在某些情况下建议使用 robots.txt。机器人排除标准可用于防止索引多媒体资源(例如图像),阻止不公开的页面(例如成员登录页面)并最大化抓取预算。

Robot.txt 文件示例

robots.txt 文件的基本格式为: User-agent: ______ Disallow: ______ 其中 user-agent 是被寻址的机器人的名称,“disallow”之后的部分将包含网页的名称,机器人在访问网站时必须忽略的文件夹或文件。如果要解决可能访问该网站的所有机器人,可以使用星号 (*) 代替特定机器人的名称。在此示例中,通知爬虫不要进入上述目录: User-agent: * Disallow: /tmp/Disallow: /junk/而在此示例中,爬虫被告知要避开特定文件: User-agent: * Disallow: /目录/文件.html