求助一个robots.txt内容的写法

[复制链接]
查看: 1461   回复: 3
发表于 2011-1-9 12:18:19 | 显示全部楼层 |阅读模式
# Disallow: /a_*.html
# Disallow: /b_*.html


我的意思是禁止搜索引擎抓取以a_开头的网页以及及b下划线开头的网页。
上面这种写法好像不对。应该怎么写啊、。

评分

参与人数 1T币 -1 收起 理由
汉的骄阳 -1

查看全部评分

 楼主| 发表于 2011-1-9 13:51:47 | 显示全部楼层
帮帮忙啊。。。
回复 支持 反对

使用道具 举报

发表于 2011-1-9 18:43:01 | 显示全部楼层
去掉#,通配模式*只对google有效,写法之一

  1. User-agent: *
  2. Disallow: /a_
  3. Disallow: /b_
复制代码
回复 支持 反对

使用道具 举报

发表于 2012-6-4 15:06:50 | 显示全部楼层
学习了                                 求助一个robots.txt内容的写法
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则