无索引标签

TL;博士
noindex 表示可以放置在网站页面上的标签,以便将其从搜索引擎结果中排除。它用于对网站的索引页面进行更多控制,并且可以通过在页面上放置一段代码(例如元标记或 HTTP 响应标头)轻松完成。
什么是 noindex 标签?
noindex 标记表示可以轻松添加到网站的元标记,以便将特定页面排除在搜索引擎的索引之外。
为什么网站应该使用 noindex 标签?
noindex 标签为所有网站所有者提供了在搜索引擎中应显示什么类型的内容以及逐页控制对网站站点的访问方面的灵活性。
一旦 noindex 标签被添加到特定页面,搜索引擎爬虫(例如,Googlebot)就会爬取该页面并看到该标签;它将完全从 Google 搜索结果页面中完全删除该页面。
哪些页面可以有 noindex 而不会影响网站排名?如果 noindex 标签未添加到正确的页面(或添加不正确),则不需要的信息最终可能会出现在结果中(或者整个网站可能最终在搜索引擎中不可见,具体取决于它的实施方式)。所以,这里有一些你可能不想索引的页面:
- 作者描述:如果一个网站只有一个作者(或多个活跃作者),那么每次发布一个帖子时,他们的描述也可能会被添加到页面中,并且可以被爬虫视为重复内容。首选选项是不索引作者页面/描述。
- 自定义页面或隐藏页面:如果您为特定受众创建了一些有限的内容,那么您可能希望仅为他们保留这些内容,而不是使其在搜索引擎中可见。
- 退订页面或感谢页面:这些页面是人们只能访问一次的页面,从内容的角度来看,它们的内容没有价值或相关性。一些网站也喜欢不对登录或注册页面编制索引。
- 内部搜索结果。如果一个站点有一个搜索栏,并且对于每个搜索查询,都会生成一个被索引的页面;这最终可能会破坏网站的排名。所以,一个 noindex 标签可能是个好主意。
如何实现 noindex 标签
noindex 有两种实现方式:作为元标记和作为 HTTP 响应标头,基于对网站更方便的方式。
为防止大多数搜索引擎网络爬虫将网站页面编入索引,请将以下元标记放入页面的 <head> 部分:<meta name="robots" content="noindex">
一些搜索引擎网络爬虫可能会以不同的方式解释 noindex 指令。因此,强烈建议寻找您感兴趣的每个搜索引擎的 noindex 推荐,以确保它们的页面不会出现在搜索结果中。
重要的提示!根据 Google 的说法,为了使 noindex 标签有效,该页面不能被 robots.txt 文件阻止,因为爬虫永远不会看到 noindex 指令,并且该页面仍然可以出现在搜索结果中。