谷歌蜘蛛爬取太频繁

有点喜欢 · 发表于 2022-4-10 12:58:35

谷歌蜘蛛爬取太频繁

怎么屏蔽

宝塔nginx伪静态规则

lefiiibraih14 · 发表于 2022-4-10 12:59:16

if ($http_user_agent ~* (google)){ return 403; }

加到NGINX配置文件里边

michaelchan · 发表于 2022-4-10 12:59:46

屏蔽干什么？

灌水王 · 发表于 2022-4-10 12:59:56

爬到把服务器干爆了
每月流量就20T ，一台能给他爬到1T多。。。

灌水王 · 发表于 2022-4-10 13:00:32

有那么夸张？

灌水王 · 发表于 2022-4-10 13:01:24

一天爬二十几万次 4H小鸡根本顶不住早屏蔽了:'(

灌水王 · 发表于 2022-4-10 13:02:20

我是加到站点配置那里

但是加了之后

宝塔上行流量统计还是高

不知道啥情况

灌水王 · 发表于 2022-4-10 13:02:50

限制单个IP连接数

灌水王 · 发表于 2022-4-10 13:03:20

看网站日志，是因为什么导致资源占用高

灌水王 · 发表于 2022-4-10 13:03:43

楼主这情况八成是被别有用心的人利用google爬虫漏洞攻击了，可以搜索相关关键词