JozhssonDate 发表于 2023-2-10 07:49:29

请教一个爬虫的问题

一个图站的图片有经过压缩的缩略图和原图，要爬这个网站的话一般是只爬原图然后自己压缩略图还是缩略图和原图一起爬下来啊？

灌水王 发表于 2023-2-10 07:49:39

都行

灌水王 发表于 2023-2-10 07:50:20

scrapy自带图片转换pipline。
原图即可

灌水王 发表于 2023-2-10 07:50:57

我的话只爬原图，如果有缩略图需求在本地批量处理一次。

灌水王 发表于 2023-2-10 07:51:16

:lol
scrapy可以自带生成

IMAGES_THUMBS = {    'small': (50, 50),    'big': (270, 270),}
不过线程拉得过大，性能开销大，所以选择直接下下来https://cdn.jsdelivr.net/gh/master-of-forums/master-of-forums/public/images/patch.gif

灌水王 发表于 2023-2-10 07:51:40

我试试，爬缩略图的话请求更多，会更快撞到网站的频率限制:lol

灌水王 发表于 2023-2-10 07:52:27

up

on1ytom 发表于 2023-2-10 10:24:22


阅读权限不够，刷水帖换积分了:lol
页: [1]
查看完整版本: 请教一个爬虫的问题