Amazon 所有产品地图，某些特殊需求可能用得到

sxbyl

目测貌似有上亿产品
http://www.amazon.com/sitemaps.US_detail_page_sitemap_desktop_index.xml.gz

张红刚

看一下

月光飞燕

楼主自己写程序，可以告知一下怎么使用？

sxbyl

那个链接只是Amaon站点链接的一部分，由于Amazon产品太多，所以这个链接只是一个索引，压缩包里是是一个xml文件，用FireFox或者IE正常看，当然用高级点的编辑工具也可以。垃圾IE的问题是打开大一点的xml文件基本就卡死了。
继续上面那个xml文件，这个文件里有一大堆http://www.amazon.com/sitemaps.US_detail_page_sitemap_desktop_2012-12-17_107-1.xml.gz这种链接，这个压缩包里的xml文件才是真正的到产品的地图，包含大量http://www.amazon.com/Coolpad-Quattro-MetroPCS-Premium-Combo/dp/B009D3DNQI这样的链接，每个记得有4万个还是4.5万个

至于这么多链接有什么用，就得看自己的需求了
当时我找这个是想做一个每天抓取每个Amazon产品价格的插件的，这样就可以显示Amazon产品价格曲线，也算是个需求了。但一看有这么多产品，被吓呆了，每个月抓取上亿个产品的价格，不是几台服务器能搞定的，所以没做下去

月光飞燕

amazon有api的，楼主不用？

sxbyl

月光飞燕 发表于 2013-3-16 00:31
amazon有api的，楼主不用？

那个API，没有产生销售的情况下，一秒钟只能调用一次，一次调用最多只能得到10个产品的数据，超限了就禁止访问一段时间，而且得到nodes信息也需要调用API。如果真想得到上亿个产品的价格，估计一轮下来，天朝早实现四个现代化了

还有就是API只能返回每个关键字的前10页产品，这也导致API得到的产品很有限

有了现成的产品URL，就可以通过Amazon的产品页面搜集产品信息了，跳过API的限制

taofei78

技术活，看不懂！

lrxsjh

专心做自己的  高手说的 暂时用不到

minghui227

月光对这个很感兴趣哈

月光飞燕

不是，我是想给楼主说，你是玩批量的，我以前也这样搞，不过后来收效甚微，不知道你感觉如何，你那么多页面排名也上不来啊，所以后来我就开始研究专精的少量产品，慢慢的发现专精的收益和效果更好，特别适合没有团队和个人，楼主有机会考虑下。

sxbyl

月光飞燕 发表于 2013-3-16 14:50
不是，我是想给楼主说，你是玩批量的，我以前也这样搞，不过后来收效甚微，不知道你感觉如何，你那么多页面 ...

是啊，我开始也是批量，用API做，好处是完全不用管，缺点就是流量少得可怜，一二个月最多也就两三百刀，不过那个时候一直有另一个网站收入很不错，所以也没在意。结果那个网站风光了一两年，也完蛋了，现在只好回过头来重新找方向，已经准备选择精品产品往深做了。要远离搞技术的路子

zhongguo123

看Lz与月光的对话很有收获哦，做精品深入，成为专家是个好方法。