testman 发表于 2011-1-9 12:18:19

求助一个robots.txt内容的写法

# Disallow: /a_*.html
# Disallow: /b_*.html


我的意思是禁止搜索引擎抓取以a_开头的网页以及及b下划线开头的网页。
上面这种写法好像不对。应该怎么写啊、。

testman 发表于 2011-1-9 13:51:47

帮帮忙啊。。。

月光飞燕 发表于 2011-1-9 18:43:01

去掉#，通配模式*只对google有效,写法之一

User-agent: *
Disallow: /a_
Disallow: /b_

1123002349 发表于 2012-6-4 15:06:50

学习了                                 :victory:
页: [1]
查看完整版本: 求助一个robots.txt内容的写法