网站怎么写robots.txt

robots.txt是位于网站根目录的一个txt文件,这个文件的作用是告诉搜索引擎,网站的哪些内容可以抓取,哪些内容不能抓取,当搜索引擎发现这个文件后,会根据robots的规则进行内容抓取。如果一个网站没有robots.txt文件,则默认允许搜索引擎抓取所有页面。

如果你是一个新手,不知道该怎么写一个robots文件,请不要着急,写robots的方法很简单,只要登录百度站长平台即可进行操作。地址:https://zhanzhang.baidu.com/

登录以后,你会看到左侧有一个“网站分析”,点击展开以后有一个“Robots”选项,点击“Robots”选项,你会看到两个选项,一个是“检查robots.txt”,另一个是“”生成robots.txt文件,我们点击生成robots.txt文件,就会看到选项了。

在User-agent选项中,我们选择“所有”,第二项选择“不允许抓取”,在路径选项把不允许抓取的目录填进去即可,然后点击生成,就可以看到生成的robots文件了,你可以直接下载这个文件,也可以把内容复制进记事本,把记事本重命名为robots,然后上传到网站的根目录。

robots不用特别去写,只需要把不允许的目录禁止即可,不用写的那么详细,非得指明哪个目录可以抓取,哪个目录不嫩抓取,把不允许抓取的内容写进去,剩下的就是可以抓取的了。

网站怎么写robots.txt》有0个想法

  1. Pingback引用通告: 百度能够识别robots.txt文件吗 - 段文杰SEO博客

发表评论

电子邮件地址不会被公开。 必填项已用*标注