问一个 robots.txt 和sitemap冲突的问题

misca

下面是我的robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://xxxx/sitemap.xml


提交到google  

给我警告

警告

Url blocked by robots.txt.

Sitemap contains urls which are blocked by robots.txt.

我百度了一下  有人说是 robots.txt禁止一个页面，但是sitemap底部上又叫蜘蛛去捉取它，那蜘蛛就犯困了，到底是捉取还是不捉取啊，所以就警告了···

看了之后还是迷惑，我的robots禁止了吗？  没看出来啊？
有高手解答一下吗？ 谢谢了

adrian

sitemap.xml并不用故意写进robots里.
sitemap直接在网站管理工具里提交就可以了的.

jhon

我的基本上也是这么写的阿，没有提醒我冲突。根据理解也不会有冲突才是啊。

猪农

在 Robots.txt 里写上 XML Sitemap 的地址没问题的，楼主这样做法没错，尤其是不想碰谷歌工具的人都可以这样用。当然如果已经在谷歌工具提交了就不必重复。

问题可能出自你xml sitemap的内容。自己检查是否在sitemap里有“/wp-admin/” “/wp-includes/”目录下的内容的URL，尤其是后者。这个sitemap 的 URL也必须是absolute URL，不能有错。自己可在浏览器看看sitemap。

就算有警告，蜘蛛也只是停止抓取被禁止的部分，不会是全部。影响不大。