小心你的robots文件

robots.txt是一个相当重要的文件,但也是最容易被站长忽略的,如果你现在还没有重视起网站的robots,请小心你的robots文件,仔细检查并且随时关注。

robots.txt是处于网站根目录的一个文件,旨在告诉搜索引擎,哪些内容可以索引,哪些内容不能索引,很多网站程序都自带robots文件,也有一些网站程序没有自带robots文件,自带的robots一般设置比较简单,但已经可以满足基本的需求,如果不懂得设置robots,可以直接使用默认的robots,如果程序本身没有自带robots文件,可以参考一下其它站点的robots文件,本博客设置了允许所有搜索引擎抓取。

如果想了解更多关于robots的知识,可以参考百度站长平台对于robots的介绍和使用方法,在那里可以得到更详细的内容,地址:https://zhanzhang.baidu.com/robots/index,为什么想起来说一下robots文件呢,因为我的博客收录最近出现了异常,找了很多原因都没有找到,最后通过百度站长平台才发现了问题,原来是robots文件禁止了百度抓取。我正觉得奇怪呢,为什么百度蜘蛛每天都来,每天都在抓取首页,但为什么就是不抓取内页呢,而博客的快照也一直停留在9月份,原来是robots在作怪,于是今天早上赶紧修改,希望百度能及时抓取新的robots文件。

不管是自己设置错误,还是被人恶意修改,都请大家重视起robots文件,当网站收录出现异常时,不妨注意下自己的robots文件,在网站安全维护上,我们更多关注的网站是否被篡改,是否被挂黑链等,很少去关注robots文件,如果不是因为百度站长平台的提醒,我还一直蒙在鼓里,不知道怎么回事呢,为了站点安全,建议站长每隔一段时间可以检查一下自己的robots,观察是否为正常状态,也可以对正常的robots文件进行备份,一旦发现异常以后,用正确的备份文件覆盖被修改文件。还望博主的经历能够给站长朋友带来一些警醒,也请站长朋友们对robots有所重视,小心谨慎的对待站点的robots,不要设置错误和被恶意修改。

引用文章,必须注明文章来源于”段文杰博客”,否则视为侵权。

尊重版权,人人有责,原文地址: https://www.duanwenjie.com/5027.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注