怎么阻止来自WORDPRESS官方的蜘蛛

妃子笑

我有一个网站每天来几十万WORDPRESS官方的蜘蛛，以致主机都被暂停了，怎么BLOCK来自WORDPRESS的SPIDERS啊？
Last agents[td]

Date	Time	Agent	What
December 9, 2012	23:42:47	WordPress/3.4.2; http://www.xxx.net	WordPress
December 9, 2012	23:42:47	WordPress/3.4.2; http://www.xxx.net	WordPress
December 9, 2012	23:42:47	WordPress/3.4.2; http://www.xxx.net	WordPress
December 9, 2012	23:42:47	WordPress/3.4.2; http://www.xxx.net	WordPress
December 9, 2012	23:42:47	WordPress/3.4.2; http://www.xxx.net	WordPress
December 9, 2012	23:42:46	WordPress/3.4.2; http://www.xxx.net	WordPress
December 9, 2012	23:42:46	WordPress/3.4.2; http://www.xxx.net	WordPress

Last spidersDateTimeSpiderPageAgent
December 9, 201223:42:47WordPress...
WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:47WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:47

WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:47WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:47WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:46WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:46WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:46WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:46WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:46WordPress... WordPress/3.4.2; http://www.xxx.net

嗯嗯

robot.txt文件里限制试试不知道行不行~~~

jeo.vee

WORDPRESS蜘蛛？真没听说过！是某插件导致的吧？！

adboomer

.htaccess里面可以限制的，也可以安装第三方的插件直接现在IP地址

妃子笑

robot.txt文件里限制试试不知道行不行~~~
嗯嗯 发表于 2012-12-10 16:41

好像不行诶，我用ROBOT.TXT屏蔽了所有的搜索引擎BOT,还是一样有问题呢。

妃子笑

WORDPRESS蜘蛛？真没听说过！是某插件导致的吧？！
jeo.vee 发表于 2012-12-10 16:50

    升级了模板以后就这样，试了几个主机都是一样。用的是正版模板，官方说没问题，晕。

cjyzpcl

我遇到过这种问题，直接写规则封ip才好

满意沟通

应该是人家搞采集的 爬的
.htaccess直接屏蔽算鸟

1. <Limit GET>
   
2.         order allow,deny
   
3.         allow from all
   
4. 
   
5.         deny from 121.205.21.1(换为要屏蔽的ip)
   
6. </Limit>

复制代码

阿波刺德

额采集一般用UA设置googlebot

嗯嗯

好像不行诶，我用ROBOT.TXT屏蔽了所有的搜索引擎BOT,还是一样有问题呢。
妃子笑 发表于 2012-12-10 18:24

又是流氓蜘蛛~~你按照七楼的办法试试吧，

zhi

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Wordpress
RewriteRule .* - [F]
试试

uronstone

1. SetEnvIfNoCase User-Agent "^WordPress" ban_bot
   
2. 
   
3. <Limit GET POST>
   
4. Order Allow,Deny
   
5. Allow from all
   
6. Deny from env=ban_bot
   
7. </Limit>
   
8. 
   

复制代码

试试吧

daoday

官方不养蜘蛛，估计是私人养的

bomber50

应该是采集插件吧，只能禁IP段。