求助 robots不知啥问题导致谷歌提示

regent · 发表于 2013-4-13 22:24:44

robots.txt不知啥问题导致谷歌提示 A description for this result is not available because of this site's robots.txt – learn more
屏蔽显示我好几个网页

大家看下我的robots 我是照书上抄的啊
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Sitemap: http://www.XXXXXX.com/sitemap.xml

a219549 · 发表于 2013-4-13 22:56:10

没碰到这样的问题，话说楼主限制的好严格啊

regent · 发表于 2013-4-13 23:07:15

a219549 发表于 2013-4-13 22:56
没碰到这样的问题，话说楼主限制的好严格啊

额书上抄下来的，估计这样安全一些吧

a219549 · 发表于 2013-4-13 23:09:16

regent 发表于 2013-4-13 23:07
额书上抄下来的，估计这样安全一些吧

其实后面那两个google的蜘蛛没必要限制吧，去google站长管理工具看下，里面有个robots的相关工具

regent · 发表于 2013-4-13 23:51:41

a219549 发表于 2013-4-13 23:09
其实后面那两个google的蜘蛛没必要限制吧，去google站长管理工具看下，里面有个robots的相关工具
...

谢谢我去看看去

regent · 发表于 2013-4-14 00:44:19

把第一个整体中的那个 Allow: /wp-content/uploads 改成了 Allow: /* 不知道对不对

puke · 发表于 2013-4-14 00:57:54

google 网管工具 --已拦截的网址这里可以测试你的robots是否禁用某一页面

hlzone · 发表于 2013-4-14 09:09:33

感觉可以把后面两个删除，估计谷歌就不能提示了

regent · 发表于 2013-4-14 10:16:40

puke 发表于 2013-4-14 00:57
google 网管工具 --已拦截的网址这里可以测试你的robots是否禁用某一页面

Googlebot 下面显示 Not in domain 是因为没收录吗？还是啥？

regent · 发表于 2013-4-14 10:17:48

hlzone 发表于 2013-4-14 09:09
感觉可以把后面两个删除，估计谷歌就不能提示了

第一个整体中的那个 Allow: /wp-content/uploads 改成了 Allow: /* 再把你说的删掉不知道对不对

月光飞燕 · 发表于 2013-4-14 10:28:08

楼主一点一点的测试，先写一部分，测试，然后再加一部分，再测试，才可以找出问题的句子

regent · 发表于 2013-4-14 10:31:58

月光飞燕发表于 2013-4-14 10:28
楼主一点一点的测试，先写一部分，测试，然后再加一部分，再测试，才可以找出问题的句子 ...

我去看了几个网站设置都很简单决定直接改成
User-agent: *Disallow: /wp-admin/
Disallow: /wp-includes/

sitemap:
其余都允许
就行了看来这个不重要

puke · 发表于 2013-4-14 10:49:37

“robots.txt 内容 - 修改以测试更改”
这个框填写你的robots规则

“网址指定网址和 User-agent 以进行测试。”
这个框填写你要测试的某个具体的特征页面网址

下面是测试结果
就是看你填写的那些特征页面有没有被robots禁用

其实真的不必纠结robots写法随便找个他人的wp博客的robots填写下，一般都是通用的。

其他一些具体情况就是看你的模板或者网站日志的蜘蛛爬行情况来定了

regent · 发表于 2013-4-14 11:07:43

puke 发表于 2013-4-14 10:49
“robots.txt 内容 - 修改以测试更改”
这个框填写你的robots规则

恩已经弄了个最简单的了谢谢了

ectoall · 发表于 2013-4-14 11:09:47

regent 发表于 2013-4-14 11:07
恩已经弄了个最简单的了谢谢了

简单点就好了，没必要限制太多了啊

wolfstyle · 发表于 2013-4-14 13:38:10

只限制后台和数据库禁止抓去就可以了，没必要那么严格。容易有冲突

求助 robots不知啥问题导致谷歌提示

评分