使用python requests时碰到CF校验怎么办

tasd345r34 · 发表于 2022-12-18 00:06:28

我是用requests爬取的时候，返回回来的结果是CF的那个"Please Wait... | Cloudflare"的界面。
奇怪的是，如果我用浏览器挂代理访问时，他是正常的(没有CF那个等待界面)，然后用那台代理的vps运行python爬取时却碰到了CF这个界面，所以应该不是IP的问题。
我把浏览器整个request header复制过去都是一样。
有可能是什么原因导致的呢？

灌水王 · 发表于 2022-12-18 00:06:36

说明cf精准拦截

灌水王 · 发表于 2022-12-18 00:07:23

改用chrome less

灌水王 · 发表于 2022-12-18 00:07:33

缺东西了吧

灌水王 · 发表于 2022-12-18 00:08:04

要支持渲染javascript

财神 · 发表于 2022-12-18 00:08:14

https://blog.csdn.net/xc_zhou/article/details/106589277

灌水王 · 发表于 2022-12-18 00:08:58

可能缺了什么？

灌水王 · 发表于 2022-12-18 00:09:05

我清理缓存后禁用这个网站的JS，发现他还是可以正常工作到达登录界面，这样应该排除JS的原因了。

wshls · 发表于 2022-12-18 00:09:41

回帖的都是爬虫大佬

灌水王 · 发表于 2022-12-18 00:09:51

直接隐身模式打开那个页面试试

使用python requests时碰到CF校验怎么办

本帖子中包含更多资源

浏览过的版块