regent 发表于 2013-4-13 22:24:44

求助 robots不知啥问题导致谷歌提示

robots.txt不知啥问题导致谷歌提示 A description for this result is not available because of this site's robots.txt – learn more
屏蔽显示我好几个网页:'(
大家看下我的robots 我是照书上抄的啊
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Sitemap: http://www.XXXXXX.com/sitemap.xml

a219549 发表于 2013-4-13 22:56:10

没碰到这样的问题，话说楼主限制的好严格啊

regent 发表于 2013-4-13 23:07:15

a219549 发表于 2013-4-13 22:56 static/image/common/back.gif
没碰到这样的问题，话说楼主限制的好严格啊

额 书上抄下来的，估计这样安全一些吧

a219549 发表于 2013-4-13 23:09:16

regent 发表于 2013-4-13 23:07 static/image/common/back.gif
额 书上抄下来的，估计这样安全一些吧
其实后面那两个google的蜘蛛没必要限制吧，去google站长管理工具看下，里面有个robots的相关工具

regent 发表于 2013-4-13 23:51:41

a219549 发表于 2013-4-13 23:09 static/image/common/back.gif
其实后面那两个google的蜘蛛没必要限制吧，去google站长管理工具看下，里面有个robots的相关工具
...

谢谢 我去看看去


regent 发表于 2013-4-14 00:44:19

把 第一个整体中的那个 Allow: /wp-content/uploads改成了 Allow: /* 不知道对不对

puke 发表于 2013-4-14 00:57:54

google 网管工具 --已拦截的网址   这里可以测试你的robots是否禁用某一页面

hlzone 发表于 2013-4-14 09:09:33

感觉可以把后面两个删除，估计谷歌就不能提示了

regent 发表于 2013-4-14 10:16:40

puke 发表于 2013-4-14 00:57 static/image/common/back.gif
google 网管工具 --已拦截的网址   这里可以测试你的robots是否禁用某一页面

Googlebot下面显示 Not in domain 是因为没收录吗？ 还是啥？

regent 发表于 2013-4-14 10:17:48

hlzone 发表于 2013-4-14 09:09 static/image/common/back.gif
感觉可以把后面两个删除，估计谷歌就不能提示了

第一个整体中的那个 Allow: /wp-content/uploads改成了 Allow: /*   再把你说的删掉不知道对不对

月光飞燕 发表于 2013-4-14 10:28:08

楼主一点一点的测试，先写一部分，测试，然后再加一部分，再测试，才可以找出问题的句子

regent 发表于 2013-4-14 10:31:58

月光飞燕 发表于 2013-4-14 10:28 static/image/common/back.gif
楼主一点一点的测试，先写一部分，测试，然后再加一部分，再测试，才可以找出问题的句子 ...

我去看了几个网站 设置都很简单 决定直接改成
User-agent: *Disallow: /wp-admin/
Disallow: /wp-includes/

sitemap:
其余都允许
就行了看来这个不重要:lol

puke 发表于 2013-4-14 10:49:37

“robots.txt 内容 - 修改以测试更改”
这个框填写你的robots规则

“网址 指定网址和 User-agent 以进行测试。”
这个框填写你要测试的某个具体的特征页面网址

下面是测试结果
就是看你填写的那些特征页面有没有被robots禁用

其实真的不必纠结robots写法随便找个他人的wp博客的robots填写下，一般都是通用的。

其他一些具体情况就是看你的模板或者网站日志的蜘蛛爬行情况来定了

regent 发表于 2013-4-14 11:07:43

puke 发表于 2013-4-14 10:49 static/image/common/back.gif
“robots.txt 内容 - 修改以测试更改”
这个框填写你的robots规则



恩 已经弄了个最简单的了 谢谢了

ectoall 发表于 2013-4-14 11:09:47

regent 发表于 2013-4-14 11:07 static/image/common/back.gif
恩 已经弄了个最简单的了 谢谢了

简单点就好了，没必要限制太多了啊

wolfstyle 发表于 2013-4-14 13:38:10

只限制后台和数据库禁止抓去就可以了，没必要那么严格。容易有冲突
页: [1]
查看完整版本: 求助 robots不知啥问题导致谷歌提示