sxbyl 发表于 2013-3-15 22:19:29

Amazon 所有产品地图，某些特殊需求可能用得到

目测貌似有上亿产品
http://www.amazon.com/sitemaps.US_detail_page_sitemap_desktop_index.xml.gz


张红刚 发表于 2013-3-15 22:31:31

看一下

月光飞燕 发表于 2013-3-15 23:31:47

楼主自己写程序，可以告知一下怎么使用？

sxbyl 发表于 2013-3-15 23:47:45

那个链接只是Amaon站点链接的一部分，由于Amazon产品太多，所以这个链接只是一个索引，压缩包里是是一个xml文件，用FireFox或者IE正常看，当然用高级点的编辑工具也可以。垃圾IE的问题是打开大一点的xml文件基本就卡死了。
继续上面那个xml文件，这个文件里有一大堆http://www.amazon.com/sitemaps.US_detail_page_sitemap_desktop_2012-12-17_107-1.xml.gz这种链接，这个压缩包里的xml文件才是真正的到产品的地图，包含大量http://www.amazon.com/Coolpad-Quattro-MetroPCS-Premium-Combo/dp/B009D3DNQI这样的链接，每个记得有4万个还是4.5万个

至于这么多链接有什么用，就得看自己的需求了
当时我找这个是想做一个每天抓取每个Amazon产品价格的插件的，这样就可以显示Amazon产品价格曲线，也算是个需求了。但一看有这么多产品，被吓呆了，每个月抓取上亿个产品的价格，不是几台服务器能搞定的，所以没做下去:(

月光飞燕 发表于 2013-3-16 00:31:45

amazon有api的，楼主不用？

sxbyl 发表于 2013-3-16 00:44:03

月光飞燕 发表于 2013-3-16 00:31 static/image/common/back.gif
amazon有api的，楼主不用？

那个API，没有产生销售的情况下，一秒钟只能调用一次，一次调用最多只能得到10个产品的数据，超限了就禁止访问一段时间，而且得到nodes信息也需要调用API。如果真想得到上亿个产品的价格，估计一轮下来，天朝早实现四个现代化了{:14_1226:}

还有就是API只能返回每个关键字的前10页产品，这也导致API得到的产品很有限

有了现成的产品URL，就可以通过Amazon的产品页面搜集产品信息了，跳过API的限制

taofei78 发表于 2013-3-16 09:05:14

技术活，看不懂！

lrxsjh 发表于 2013-3-16 09:35:05

专心做自己的高手说的 暂时用不到

minghui227 发表于 2013-3-16 09:51:43

月光对这个很感兴趣哈

月光飞燕 发表于 2013-3-16 14:50:31

不是，我是想给楼主说，你是玩批量的，我以前也这样搞，不过后来收效甚微，不知道你感觉如何，你那么多页面排名也上不来啊，所以后来我就开始研究专精的少量产品，慢慢的发现专精的收益和效果更好，特别适合没有团队和个人，楼主有机会考虑下。

sxbyl 发表于 2013-3-16 15:22:32

月光飞燕 发表于 2013-3-16 14:50 static/image/common/back.gif
不是，我是想给楼主说，你是玩批量的，我以前也这样搞，不过后来收效甚微，不知道你感觉如何，你那么多页面 ...

是啊，我开始也是批量，用API做，好处是完全不用管，缺点就是流量少得可怜，一二个月最多也就两三百刀，不过那个时候一直有另一个网站收入很不错，所以也没在意。结果那个网站风光了一两年，也完蛋了，现在只好回过头来重新找方向，已经准备选择精品产品往深做了。要远离搞技术的路子

zhongguo123 发表于 2013-3-16 22:32:35

看Lz与月光的对话很有收获哦，做精品深入，成为专家是个好方法。
页: [1]
查看完整版本: Amazon 所有产品地图，某些特殊需求可能用得到