请教一个爬虫的问题

JozhssonDate · 发表于 2023-2-10 07:49:29

一个图站的图片有经过压缩的缩略图和原图，要爬这个网站的话一般是只爬原图然后自己压缩略图还是缩略图和原图一起爬下来啊？

灌水王 · 发表于 2023-2-10 07:49:39

都行

灌水王 · 发表于 2023-2-10 07:50:20

scrapy自带图片转换pipline。
原图即可

灌水王 · 发表于 2023-2-10 07:50:57

我的话只爬原图，如果有缩略图需求在本地批量处理一次。

灌水王 · 发表于 2023-2-10 07:51:16

:lol
scrapy可以自带生成

复制代码

不过线程拉得过大，性能开销大，所以选择直接下下来请教一个爬虫的问题

灌水王 · 发表于 2023-2-10 07:51:40

我试试，爬缩略图的话请求更多，会更快撞到网站的频率限制:lol

灌水王 · 发表于 2023-2-10 07:52:27

on1ytom · 发表于 2023-2-10 10:24:22

阅读权限不够，刷水帖换积分了