robots.txt的作用是什么

robots.txt的作用是什么,简单的说有两个作用。

第一:屏蔽动态URL

第二:屏蔽不该收录的文件

如果网站开启了静态URL,那么,就需要屏蔽动态URL,否则就会重复收录,动态链接和静态链接同时存在,影响搜索引擎优化效果,而且看上去很不美观,对用户体验也不好,所以需要利用robots协议来屏蔽动态URL,让搜索引擎只收录静态URL,形成URL的统一化。

我们还可以利用robots协议来屏蔽一些带有敏感信息的文件,提高网站的安全性。

robots.txt还有一个作用,那就是屏蔽某个搜索引擎,如果你不想让某个搜索引擎收录你的站点,可以直接利用robots协议进行屏蔽,不过很少有人会这么做,做SEO本身就是为了搜索引擎排名,如果利用robots屏蔽搜索引擎收录,很显然是不合常理的。

关于robots的更多参考资料:https://zhanzhang.baidu.com/robots/index

引用文章,必须注明文章来源于”段文杰博客”,否则视为侵权。

尊重版权,人人有责,原文地址: https://www.duanwenjie.com/22222.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注