robots协议是什么?网站如何书写才符合SEO?

自动草稿

Robots是网站与搜索引擎之间的协议,它可以告诉搜索引擎的蜘蛛哪个页面可以抓,哪个页面不能抓,存在于网站根目录,文件名字是robots.txt。如何查看robots,它对网站的影响有多大?

在网址后面直接加上“/robots.txt”即可查看。Robots文件是规范搜索引擎收录的,如果没有规范,搜索引擎随便抓取,可能会抓取到大量的垃圾页面,这些垃圾页面被收录后,百度会认为网站是低质量的,会影响到网站的排名。

一、Robots协议的书写规则:

1、User-agent: 定义搜索引擎的种类,出现在协议文件的第一行。Baiduspider(百度蜘蛛)、360Spider(360蜘蛛)、Sosospider(SOSO蜘蛛)等,“*”星号表示所有,User-agent: * 表示对所有的搜索引擎而言。

2、Disallow: 定义禁止抓取的地址,以“/”开头,斜杠表示网站根目录。冒号后面为关键词,路径里出现该关键词的都会被屏蔽。

屏蔽动态链接:Disallow: *?*

屏蔽所有css文件:Disallow: *.css$,“$”是结束符号,该条规则表示屏蔽所有以.css结尾的文件。

3、Allow: 允许抓取,一般用不到,规则默认就是允许的。

二、Robots.txt书写格式:

1)第一个英文字母必须是大写。

2)冒号必须是英文状态下的。

3)冒号后面有且只有一个英文状态下的空格。

静竹SEO提醒您,在写robots协议的时候一定要严格安照书写规则来写,这是搜索引擎给出来的规定,不是这个格式,它不认识。

如果不确定自己写的协议是否正确,可以通过百度站长平台来检测。

自动草稿
图一:百度站长平台校验robots协议

 

三、什么情况下使用robots?

1、统一路径,有的网站一个页面存在动态和静态两种链接,屏蔽掉动态链接,就可以把网站统一成静态的链接了,统一路径是有利于网站优化的。

2、屏蔽站内搜索链接,搜索任意一个词都会产生一个链接,而这些链接又是毫无意义的,收录后同样会降低网站质量度。

3、中文路径。网站标签产生的中文路径或者其他的中文路径。

自动草稿
图二:网站标签

4、js文件。

四、Robots注意事项:

1、反斜杠后面一定不能有空格,Disallow: / abc,反斜杠后面的空格意味着屏蔽整站。

2、生效时间在两个月以内。

3、不要随便屏蔽整站。

热门文章

Leave a Reply

Your email address will not be published. Required fields are marked *