网站一定要写robots吗

网站一定要写robots文件吗,可以不写吗?

个人的建议是,最好写上,为什么要写上呢。

第一:保证网站安全,屏蔽不需要收录的文件路径。

第二:屏蔽动态url链接,防止搜索引擎收录重复内容。

其实,robots不用写的太复杂,不用刻意去写“允许哪个搜索引擎收录”,也不用去屏蔽哪个搜索引擎,最重要的是屏蔽动态链接,就像是我的段文杰seo博客,robots写的非常简单,就是屏蔽了动态链接而已,其他的规则都没有写进去,写那么多也没有必要。

注意:搜索引擎收录和识别robots.txt是需要时间的,即使收录了也不会马上执行robots里的规则,大家不要觉得是搜索引擎不识别robots,也不要觉得是搜索引擎不按照robots规则执行,搜索引擎执行robots规则需要一个时间,请大家耐心的等待一些时间。

如果你问我,网站一定要写robots吗,我的看法是写上,网站有robots比没有robots要好一些。有的网站把robots写的很复杂,有的网站把robots写的很简单,其实,robots不用写的那么复杂,如果你不想写robots也是可以的,对搜索引擎优化并没有多大的影响。

引用文章,必须注明文章来源于”段文杰博客”,否则视为侵权。

尊重版权,人人有责,原文地址: https://www.duanwenjie.com/23313.html

网站一定要写robots吗》有1个想法

  1. Pingback引用通告: 网站robots.txt怎么写 – 段文杰SEO博客

发表评论

电子邮件地址不会被公开。 必填项已用*标注