如何书写robots.txt

robots.txt是存在于网站根目录的一个重要文件,如果robots.txt书写错误,很有可能造成百度不收录的状况发生,那么,robots.txt应该如何书写呢,首先,robots.txt是一个文本文档,也就是我们平常说的记事本文档,从文件的后缀名称就可以看出,robots规则比较简单,一般常用的规则有两个,一个是允许收录的指令,另一个是不允许收录的指令,写法如下:

Disallow指令,代表不允许搜索引擎收录。

Allow指令,代表允许被搜索引擎收录。

百度站长平台明确指出,如果网站允许全部搜索引擎收录网站全部内容,请不要建立robots.txt文件,如果不允许某个搜索引擎收录网站内容,或者不允许某个搜索引擎收录某个URL和目录,才会用到robots.txt文件,而且百度声明:百度严格遵守robots.txt协议,只要robots文件中设置为不允许收录的,百度就不会收录,作为国内最大的搜索引擎,百度是非常负责任的。

下面是一个非常简单的robots.txt的写法,每一行是一个robots规则:

User-agent: *
Disallow: /wp-admin
Allow: /wpros

“Disallow: /wp-admin”的意思是代表不让搜索引擎收录:“wp-admin”这个URL地址,“Allow: /wpros”的意思是允许搜索引擎访问“wpros”目录,值得注意的是,在一般情况下,不用禁止搜索引擎访问网站,SEO优化本来依赖的就是搜索引擎,无论是百度,还是谷歌,或是搜狗,自然是流量来源越多越好,禁止某个搜索引擎访问是非常不理智,也是不切合实际的做法。

本站文章均属原创,转载请注明文章来自于段文杰SEO博客,否则视为侵权。

发表回复

您的电子邮箱地址不会被公开。