amnoob 发表于 2014-5-18 18:46:48

spider相关, 求助:这个是什么东西?把我的bandwidth都吃光了.

如题,收到空间商提示我的带宽快接近上限了(50G),就进CP查看了一下,发现下面这个流氓user agent每天要耗掉2G多的流量,请教下这个是什么?是蜘蛛之类的吗? 请问怎么block掉啊?
- Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/98 Safari/537.4 (StatusCake)
另外还发现另一个流氓-瘦狗
http://pic.sogou.com Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
每天也要消耗几百M的流量,我的可是英文站啊,怎么搜狗也每天来爬啊爬的。

然后google了一下,在"htaccess"中用下面这个代码:
RewriteCond %{HTTP_USER_AGENT} sogou
RewriteRule ^.*$ map.txt
虽然还是阻止不了瘦狗的访问,但发现它确实不再能消耗我的流量了。怎么能彻底阻止它的访问啊?


月光飞燕 发表于 2014-5-18 19:00:47

研究robot.txt禁止写法

对于第1个,可能是采集,最好屏蔽ip,在防火墙里面设置
页: [1]
查看完整版本: spider相关, 求助:这个是什么东西?把我的bandwidth都吃光了.