winlj 发表于 2022-12-6 14:18:34

爬虫切换不同ip能不能用cdn代劳呢

经常我们要用爬虫爬取一些网站的数据
但是有些网站防爬取机制很严格，稍微访问多个页面或者访问频繁，ip就被封了
今天我就突发奇想哦，所谓的v2都可以用cf的cdn进行爬梯子
那么cdn能不能作为爬虫的访问节点呢，这样的话，爬虫第一次访问用cdn某个ip，第二次请求就是用cdn另外一个ip，第三次请求就是cdn的ip池子再另外一个ip以此类推
这样不就不会被屏蔽ip了么

灌水王 发表于 2022-12-6 14:18:44

cloudflare warp

灌水王 发表于 2022-12-6 14:19:09

cdn的ip不可控

FydedIPZ 发表于 2022-12-6 14:19:38

如果套cf不应该使用的是源站ip去爬的吗？
页: [1]
查看完整版本: 爬虫切换不同ip能不能用cdn代劳呢