|
|
|
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
在过去 24 小时内，Googlebot 在尝试访问您的 robots.txt 时遇到了 1 个错误。为确保不会抓取该文件中列出的任何网页，我们推迟了抓取操作。您网站的 robots.txt 总体错误率为 100.0%。
- 请使用网络浏览器尝试访问 http://mydomain.com/robots.txt。如果您可以使用浏览器访问该文件，说明您的网站可能被配置为阻止 Googlebot 访问。请检查防火墙和网站的配置，确保您没有阻止 Googlebot 的访问。
- 如果您的 robots.txt 是静态页面，请验证您的网络服务拥有访问该文件的相应权限。
- 如果您的 robots.txt 是动态生成的，请验证生成 robots.txt 的脚本配置无误并拥有运行权限。请查看您网站的日志了解脚本是否出错，如果确实出错，请尝试诊断错误根源。
如果网站错误率低于 100%：- 请使用网站站长工具找到错误率较高的一天并检查网络服务器当天的日志。在那天的日志中查找访问 robots.txt 时出现的错误并修复这些错误的根源。
- 很可能是因为您的网站已过载。请与您的托管服务提供商联系，商讨重新配置您的网络服务器或为您的网站分配更多资源。
- 如果您的网站重定向到另一主机名，还有可能是因为您网站上某个网址的重定向目标主机名在为 robots.txt 文件提供服务时出现了上述的一个或多个问题。
==========================================
我只是不希望抓取wordpress的文件，这样不可以吗？
这个错误可不可以忽略。
懂的帮帮忙啊，感激不尽啊。
|
|
发表于 2013-3-26 15:24:35
提升卡
沉默卡
变色卡
