大佬们如何屏蔽完全谷歌蜘蛛

灌水王 · 发表于 2023-8-4 13:26:09

用VIR小鸡做了个小站,谷歌蜘蛛疯狂趴,负载状态全满，飘红，硬盘都日志被占满了，用了宝塔防火墙屏蔽IP,效果不好，我想完全屏蔽海外IP，但是套了CF,网站无法用了，大佬有什么方法，或都这方面文章参考一下

灌水王 · 发表于 2023-8-4 13:27:02

robot.txt

灌水王 · 发表于 2023-8-4 13:27:24

robots.txt

herhiuhoew · 发表于 2023-8-4 13:27:49

robots.txt

lancer · 发表于 2023-8-4 13:28:12

我用的304策略

链接只要抓取过一次，以后再访问这链接，直接返回304，不经php,不查询mysql, 在nginx层就返了，对性能和流量损耗微乎其微

灌水王 · 发表于 2023-8-4 13:28:31

没用

灌水王 · 发表于 2023-8-4 13:29:08

围观者发表于 2022-1-11 17:32
我用的304策略

链接只要抓取过一次，以后再访问这链接，直接返回304，不经php,不查询mysql, 在nginx层就 ...

老哥，能教教俺怎么设置吗？
天下苦Google久矣

myyxs · 发表于 2023-8-4 13:30:04

围观者发表于 2022-1-11 17:32
我用的304策略

链接只要抓取过一次，以后再访问这链接，直接返回304，不经php,不查询mysql, 在nginx层就 ...

搜成403了，304真的是好东西，谢大佬

opo · 发表于 2023-8-4 13:30:28

套了 Cloudflare？在 Cloudflare 防火墙里添加个 UA 规则拒绝不就行啦。。。

灌水王 · 发表于 2023-8-4 13:30:40

套了CF的话，你CF后台防火墙添加，用户代理，包含 Google就可以了