百度能够识别robots.txt文件吗

robots.txt是什么,百度能够识别robots.txt文件吗?

robots.txt是存放于网站根目录的一个txt文件,用来指引搜索引擎,哪些内容是可以收录的,哪些内容是不能收录的,具体请参考这篇文章:https://www.duanwenjie.com/589.html

在正常情况下,百度都能够识别robots文件,这一点大家不用担心,但是百度需要一个时间来调整,如果利用robots.txt屏蔽了某些URL,这些URL并不会马上消失,需要等待百度重新索取网站的robots文件以后,才会屏蔽这些URL,时间大概是一个星期左右。

一个星期之前我重新编写了段文杰SEO的robots文件,屏蔽了SEO博客的动态URL,今天早上查询SEO博客的收录时,发现收录量从2200下降到1600,我仔细的观察了每一条收录,发现动态URL几乎全部消失,剩下的基本都是静态的URL,由此可见百度是能够识别robots文件的。

robots.txt虽然只是一个很小的txt文件,但是其作用至关重大,在这里段文杰SEO提出两点建议,第一,在建站以前一定要写好robots规则,如果等到搜索引擎收录以后再改动robots文件,必然对SEO造成影响。第二,一定要注重robots文件的安全,防止被人恶意篡改。

百度识别robots文件是需要一个过程的,如果百度已经收录了以前的robots文件,后来你再一次更改了robots文件,请耐心的等待搜索引擎重新索引robots文件,一般在一个星期左右,也许时间会更长一些,搜索引擎就能按照新的robots规则进行内容抓取。

本站文章均属原创,本篇文章来自于:段文杰SEO博客

如您需要转载文章,请注明文章链接:https://www.duanwenjie.com/22209.html

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注