请教什么方法能把amazon整站采集下来

early · 发表于 2014-12-24 17:39:25

什么方法能把amazon整站采集下来
火车头？
API接口这种怎么弄，

hudba · 发表于 2014-12-24 17:59:49

楼主这是传说中的伸手党吗？

djg2000 · 发表于 2014-12-24 19:30:51

楼主你这是要干什么呀

early · 发表于 2014-12-24 19:54:05

djg2000 发表于 2014-12-24 19:30
楼主你这是要干什么呀

复制采集站。然后做垃圾站

xinyf88 · 发表于 2014-12-24 20:35:33

垃圾站现在还能做出效果出来吗？

leexiaochong · 发表于 2014-12-24 20:45:08

我能和楼主说amazon美国站的sku有两亿五千多万么

深蓝浅蓝 · 发表于 2014-12-24 23:27:49

野心略大啊。用上服务器集群不眠不休跑几个月说不定能成？

肥草 · 发表于 2014-12-25 01:34:00

LS正解
野心略大啊。

osun · 发表于 2014-12-25 10:05:01

2亿多商品，单URL地址就20多个G，压缩一下还有10个G，要是全采集回来会有多大呢，自己算吧

c21xdx · 发表于 2014-12-25 10:05:58

真是张口就来啊，全部采集。。。。。额

leexiaochong · 发表于 2014-12-25 10:42:25

楼主，我只能分享这些了，只是产品的URL和URL中的product name

gant · 发表于 2014-12-25 11:06:06

leexiaochong XD 是已经尝试过了吗.呵呵

lanmao1 · 发表于 2014-12-25 11:28:03

雄心壮志

ryan2101 · 发表于 2014-12-25 12:27:29

规模太大，要是做垃圾站还不如采集一个品类就做一个站

zhexuezhishen · 发表于 2014-12-25 12:36:57

得不偿失啊，还是老老实实做吧

leexiaochong · 发表于 2014-12-25 12:37:58

gant 发表于 2014-12-25 11:06
leexiaochong XD 是已经尝试过了吗.呵呵

还没有,不知道能不能存储amazon product price

qwiuy · 发表于 2014-12-25 12:54:12

亚马逊astore，采集都省了

early · 发表于 2014-12-26 10:15:51

太给力的回贴了，采集一个品类可行，或是采集个几百万也是可行，全采集了是个大问题，由其@leexiaochong 回贴这个数据量太大了。

leexiaochong · 发表于 2014-12-26 17:21:43

early 发表于 2014-12-26 10:15
太给力的回贴了，采集一个品类可行，或是采集个几百万也是可行，全采集了是个大问题，由其@leexiaochong 回 ...

我的想法是使用lucene进行索引，然后做一个amazon 价格跟踪的网站，但还不知道amazon允不允许存储产品价格。

熟能生巧哇 · 发表于 2015-1-1 01:29:16

leexiaochong 发表于 2014-12-26 17:21
我的想法是使用lucene进行索引，然后做一个amazon 价格跟踪的网站，但还不知道amazon允不允许存储产品价 ...

lucene 是java的把？ PHP 用不了把？

riskstar · 发表于 2015-1-1 07:53:38

自己写爬虫把这个网站爬下来

风吹不动 · 发表于 2015-1-1 08:39:08

leexiaochong 发表于 2014-12-25 10:42
楼主，我只能分享这些了，只是产品的URL和URL中的product name

求分享采集思路，貌似翻页有最大限制，无法全部采集

leexiaochong · 发表于 2015-1-1 10:32:30

熟能生巧哇发表于 2015-1-1 01:29
lucene 是java的把？ PHP 用不了把？

lucene是java的，我用.net，使用lucene.net，php我还不太懂了

leexiaochong · 发表于 2015-1-1 10:34:23

风吹不动发表于 2015-1-1 08:39
求分享采集思路，貌似翻页有最大限制，无法全部采集

兄弟，换个思路吧，不要跟着amazon的页面走，也不要想着获取list然后再获取productdetail,采集只需要的是productdetail即可。重要一点：直接把amazon 的sitemap下载下来，然后再解压gzip，再将解压的xml内容给解析出来，取出loc和权重值放到数据库里面即可。

风吹不动 · 发表于 2015-1-1 16:52:10

leexiaochong 发表于 2015-1-1 10:34
兄弟，换个思路吧，不要跟着amazon的页面走，也不要想着获取list然后再获取productdetail,采集只需要的是 ...

sitemap赞一个，去试试

请教什么方法能把amazon整站采集下来

评分

评分

点评

本帖子中包含更多资源

点评

评分

评分