不想被搜索引擎抓取的网站该怎么做？

企业网站為(wèi)什么要做搜索引擎优化呢(ne)？因為(wèi)符合搜索引擎要求的网页代码不仅能(néng)提升蜘蛛的爬行效率，也有(yǒu)利于搜索引擎给予网页更好的信任度及权重。对用(yòng)户来说，體(tǐ)验会得到较好的改善。

那么如何影响搜索引擎对网站的收录情况呢(ne)？

robots

robots.txt是一个纯文(wén)本文(wén)件，网站管理(lǐ)者可(kě)以在这个文(wén)件中声明该网站不想被搜索引擎访问的部分(fēn)，或者指定搜索引擎收录的内容。

因此， robots优化直接影响搜索引擎对网站的收录情况。

搜索机器人即蜘蛛，在访问一个网站时，首先会检查该网站根目录下是否存在 robotstxt文(wén)件，如果存在，蜘蛛就会按照该文(wén)件中的内容确定访问的范围;如果不存在，蜘蛛就默认所有(yǒu)文(wén)件都可(kě)以抓取。

robots.txt文(wén)件必须放在一个网站的根目录下，而且文(wén)件名字母必须全部小(xiǎo)写，例如，https://www.liehe.com/robots. txt

只有(yǒu)在需要禁止抓取某些内容时， robots.txt文(wén)件才有(yǒu)意义。

如果服務(wù)器设置出现问题， robots.txt文(wén)件不存在，会返回200状态码及某些错误信息，而不是404状态码，原因可(kě)能(néng)是蜘蛛错误解读 robots.txt文(wén)件信息。

因此建议即使允许抓取所有(yǒu)内容，也要建立一个空的 robots.txt文(wén)件。

上一篇：代码优化中的元标签设计要注意什么？
下一篇：如何删除对网站有(yǒu)害的页面？　　

不想被搜索引擎抓取的网站该怎么做？

robots

推荐文(wén)章

我们的服務(wù)

系统产品

营销分(fēn)享

联系我们

我们的服務(wù)

系统产品

营销分(fēn)享

联系我们