请教一个爬虫的问题

[复制链接]
查看: 8398   回复: 7
发表于 2023-2-10 07:49:29 | 显示全部楼层 |阅读模式
一个图站的图片有经过压缩的缩略图和原图,要爬这个网站的话一般是只爬原图然后自己压缩略图还是缩略图和原图一起爬下来啊?
回复

使用道具 举报

发表于 2023-2-10 07:49:39 | 显示全部楼层
都行
回复 支持 反对

使用道具 举报

发表于 2023-2-10 07:50:20 | 显示全部楼层
scrapy自带图片转换pipline。
原图即可
回复 支持 反对

使用道具 举报

发表于 2023-2-10 07:50:57 | 显示全部楼层
我的话只爬原图,如果有缩略图需求在本地批量处理一次。
回复 支持 反对

使用道具 举报

发表于 2023-2-10 07:51:16 | 显示全部楼层
:lol
scrapy可以自带生成
  1. IMAGES_THUMBS = {    'small': (50, 50),    'big': (270, 270),}
复制代码
不过线程拉得过大,性能开销大,所以选择直接下下来请教一个爬虫的问题
回复 支持 反对

使用道具 举报

发表于 2023-2-10 07:51:40 | 显示全部楼层
我试试,爬缩略图的话请求更多,会更快撞到网站的频率限制:lol
回复 支持 反对

使用道具 举报

发表于 2023-2-10 07:52:27 | 显示全部楼层
up
回复 支持 反对

使用道具 举报

发表于 2023-2-10 10:24:22 | 显示全部楼层

阅读权限不够,刷水帖换积分了请教一个爬虫的问题
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则