wordpress问题求助

testman

进来主要几个网站 在google搜索关键字的时候 网站下面以前出现的是 网站的描述信息。
现在出现的都是这种信息。
Index of /. cgi-bin/ ·  后面跟的是这个网站下的wordpress文件  xxx.php的这种
请问谁遇到过这个问题啊。查了wordpress的帮助 也没有找到合适的答案

termjoy

你的模版对页面的描述都没问题吗？
这个东西好像一般都是引擎抓取页面时，因为爬行问题造成的。

先检查模版。。。
然后修改robots.txt。。。禁止掉引擎抓取的目录。
User-agent: *
Disallow: */trackback/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=

最后将你出问题的页面，在google的管理员工具里边，用模拟引擎爬行测试看看结果。

testman

你的模版对页面的描述都没问题吗？
这个东西好像一般都是引擎抓取页面时，因为爬行问题造成的。

先检查模 ...
termjoy 发表于 2012-4-16 12:33

多谢你的回复。网站打开没有问题。 这个问题是这几天出现的。 模拟爬行页面也是没有问题的。
这段时间也没有其他的操作。
看了你的代码，如果把php文件都禁止爬行的话 会不会对发布的帖子收录有影响    ？

termjoy

这个robots写法的前提是：wp采用了伪静态规则，也就是用了固定链接没有问题才可以。
这个写法很严格，限制抓取任何php后缀的文件，包括wp搜索的结果。。反正我一直都是这么写的，抓取和收录没有任何问题。

By the way，出现Index of /. cgi-bin/ ·
你是用的cpanel的虚拟主机吧？可能是引擎抓取的时候，主机有问题。。。抓到了目录结构。

testman

应该是爬行的问题，从googleweb工具里面看到有很多找不到的页面
com.google.crawl.wmconsole.fe.util.gxp.urlitem后面是乱码。

testman

这个robots写法的前提是：wp采用了伪静态规则，也就是用了固定链接没有问题才可以。
这个写法很严格，限制 ...
termjoy 发表于 2012-4-16 13:22

  我也怀疑是主机的问题，我用的是justhost的主机，这个问题不是一直出现的。有可能等两天 再搜索的时候网站下面又出现描述内容了。 而且我上面的程序都是一样的。 有没有可能跟你说的那样，就是google在抓取的时候 正好主机有问题。所以只抓取了目录。有这种可能性吗？

还有个问题，假设网站采用了伪静态规则，就是 /%postname%/这样的。  那按照你的那个robots写法，网站上传的附件 比如图片 能抓取到吗

termjoy

图片是传在wp-content/uploads目录下的，不存在抓取问题。。。上面的那个写法只是限制抓取php后缀的文件。。。
另，cpanel主机，你可以检查一下根目录，在/public_html/下写个404文件之类的，也可以给根目录加上robots限制。
也可以在.htaccess文件中做个限制，加上下面这句
Options -Indexes
这样，就算主机出问题。。路径下找不到页面时候，apache也不会列出该目录下的所有文件和文件夹。

testman

多谢兄弟的回复。我打算把一个站换个空间，然后一个站改一下robots.txt试试。另外，你说的修改htaccess文件的这种方法。我看了一下 当前的文件内容是这样的。


# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress


你说的加上 Options -Indexes  我从网上查了一下  怎么没找到这种写法呢

termjoy

你看到的只是htaccess是wp目录下的那个文件，这个也只是htaccess的rewrite功能。

一般情况下，apache的配置是不允许list目录结构的，但不晓得这个主机商怎么配置的，既然这样，那么就给htaccess加上 Options -Indexes 这个功能，可以限制list目录。（要加在文件最前面）

这里的htaccess文件指的是你空间根目录下的那个，应该是在/public_html/目录下。。并不是wp目录下的那个。。。用法都一样的

.htaccess扩展阅读：
Options +Indexes：显示目录下的所有文件
Options -Indexes：隐藏目录下的所有文件（上面介绍的）
IndexOptions +FancyIndexing：显示目录下的所有文件，并且文件前面包含文件类型小图标
IndexOptions -FancyIndexing : 显示所有文件，但是不包含类型图标
IndexIgnore *.php *.exe：隐藏特定文件，其他文件正常显示(隐藏所有的php和exe文件)


你可以做个测试，也就是给htaccess文件加上Options -Indexes，你删除默认主页后会出现什么，没删除之前又会是什么样，这样不就一目了然了。。。

testman

测试了，如果加上Options +Indexes 之后，不会再显示目录，是显示的不可访问。多谢了。