分享一份适合wordpress的robots.txt写法

404SEO · 发表于 2013-3-31 13:07:41

括号内的汉字是我对指令的解释说明，使用时请去掉。大家可以根据自己的需要增减一些指令。
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
（屏蔽抓取程序文件，如果需要抓取上传的文件，可以加上Allow: /wp-content/uploads/）
Disallow: /feed
Disallow: /*/feed
(以上2个屏蔽feed地址）
Disallow: /*/trackback
（屏蔽trackback链接，防止蜘蛛抓取重复内容）
Disallow: /*?replytocom=
Disallow: /*/comment-page-*
（这2个是屏蔽抓取留言信息链接）
Disallow: /?s=*
Disallow: /*/?s=*
（这2个是禁止抓取站内搜索结果）
Disallow: /?p=*
（屏蔽抓取短链接）
sitemap:http://www.xxxxxxxx.com/sitemap.xml

haichao · 发表于 2013-3-31 13:20:45

感谢分享……

网赚寰宇 · 发表于 2013-3-31 13:23:15

谢谢楼主分享~~

jayhkun · 发表于 2013-3-31 13:27:26

3q~~~~~~

wxj123 · 发表于 2013-3-31 13:34:57

感谢楼主分享咯支持下

lrxsjh · 发表于 2013-3-31 13:42:29

感谢分享……

taofei78 · 发表于 2013-3-31 13:49:11

感谢楼主分享,以后用的上

aric · 发表于 2013-3-31 15:13:47

我拿走啦，把分留下

夏洛克 · 发表于 2013-3-31 17:09:15

用个实例说明

404SEO · 发表于 2013-3-31 17:24:00

夏洛克发表于 2013-3-31 17:09
用个实例说明

这个是通用的，一般的WP站都可以用，当然可以根据自己的需要增减一些指令，这几个指令是一般情况下要用的……每个指令的意思我已经说明了……

风吹不动 · 发表于 2013-3-31 18:47:37

不错，修改下自己的robots.txt

zxc0166 · 发表于 2013-3-31 20:45:29

谢谢,直接复制,修改xxxxxxxx

sxtywxt · 发表于 2013-4-1 01:23:44

感谢分享……

katharine427 · 发表于 2013-6-14 17:32:12

这个感谢了，我都是用的默认的。

海淘饭 · 发表于 2014-1-19 10:06:15

谢谢了非常实用

harveykung · 发表于 2014-1-20 00:21:22

非常好啊，多谢多谢，最重要的是写出解释了

有鱼不换酒 · 发表于 2014-1-20 00:25:24

收藏了.好东东

leevans · 发表于 2014-1-20 00:29:29

对于这种实用性文章，我只有默默的收藏了。

michaelr · 发表于 2014-6-16 19:58:42

不错的内容，支持一下。。。。

分享一份适合wordpress的robots.txt写法

评分