勿以恶小而为之
勿以善小而不为

在seo优化中robots的作用以及书写规则

首先带大家了解一下robots,robots文件是一个txt文档,其名字必须是robots.txt。它要存在在网站的根目录,才会起到相对的作用。

那么robots文件的作用是什么呢,它是蜘蛛到我们网站以后,抓取的第一个文件。可以对蜘蛛的抓取做出了相应的规定,比如有些东西,不想让蜘蛛抓取,屏蔽抓取低质量的页面,网站的后台,会员,或者用户信息等。

这里要注意的是,禁止蜘蛛抓取的或者屏蔽都是针对站内的信息,而且只能对站内链接生效。如果没有写robots文件那么,默认的属性是允许抓取网站的所有内容。

robots的作用以及规则

 

User-agent:这个是对蜘蛛做出规则的一个指令通常后面用*(通配符代表所有)。

*:通配符代表所有。

$:终止符,代表结束
User-agent: * 及代表对所有蜘蛛做出规则。

Disallow:禁止抓取的意思。

Allow: 允许抓取。

要注意的是,上面符号的全部要以英文状态下输入。

这里给大家介绍几种常见的屏蔽

动态路径的屏蔽:屏蔽动态路径,我们要先找到一个规则,通常动态路径中都会有?。那么我们的写法就应该这样。

写法:Disallow: /*?*

“/”就调单网站的跟目录。

js的屏蔽,js规则基本都是以.js结尾。

写法:Disallow: /*.js%

tag标签(中文)屏蔽。

写法:/tag/

这给各位介绍几个织梦常见的可屏蔽的目录。

Disallow:/templets/ 模板目录

Disallow:/plus/ 插件目录

Disallow:/dede/ 后台目录

 

友情提示:robots的书写要严格按照大小写,Disallow:之后要跟着一个空格,书写必须在英文状态下。写好之后要到百度资源平台提交与检测。写好robots的最主要前提,就是一定要熟悉自己网站的文件,知道哪些改屏蔽。

有任何问题都联系浸染,QQ:75681693

本文链接: http://www.jinranseo.com/?p=163
版权声明:本文为原创文章,版权归浸染seo所有,转载请注明出处,感谢!

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

浸染seo 更专业 更方便

联系博主