百万级别数据量，除了帝国用什么程序好，高铁采集器发布

qidoucc · 发表于 2024-10-9 13:50:17

百万级别数据量，除了帝国用什么程序好，要高铁采集器能发布的？
采了一个站，百万级别的数据，用WORDPRESS搞了七八万就无法再入库了。
求朋友们支个招。帝国实在太丑了，而且不知道怎么发布。

进度1：

折騰了一天，帝国实在太难用了，放弃。
目前两个方案：
1 坛友们说的DZ的门户系统，用火车头数据库入库，但是模板搞不定。用不惯DZ。比较少用。
2 听说WP有几百W的数据先例，就用WP继续折腾，尝试用火车头数据库入库，用腾讯云的VPS发布，连美西的数据库。不知道是因为网络，还是因为数据库已经有了几万条基础数据，3秒才能写入一条，一天只能写入不到30000条。:'(
30W条数据要十天:'(

进度2：
优化了一下VPS，增加了线程数，一天应该能入库十万条数据了。

灌水王 · 发表于 2024-10-9 13:50:51

采集的数据，反正火车头post，不如就用xiunophp这个函数库写几个展示页面，想怎么折腾就怎么折腾

yingliang · 发表于 2024-10-9 13:51:11

1. 数据类型？

2. 站点类型？

3. 开发能力？

这些必要信息得有吧，百万数据这个太笼统了呀。

灌水王 · 发表于 2024-10-9 13:51:59

帝国大数据优化确实牛。只是后台比较老气。用习惯就好了。

200w sku的商城，一点都不卡

。别的不知道了 wp没用过。

灌水王 · 发表于 2024-10-9 13:52:50

当然帝国程序，自己也要做好数据库索引，存储过程优化和程序二次优化

灌水王 · 发表于 2024-10-9 13:53:21

帝国丑？帝国随便改造的

cx2008 · 发表于 2024-10-9 13:53:56

UI模板不都是靠前端自己写吗？丑不丑主要看使用者写的好不好看，实在不会，你可以花钱找人帮你写，只要钱到位，花里胡哨都安排上百万级别数据量，除了帝国用什么程序好，高铁采集器发布

灌水王 · 发表于 2024-10-9 13:54:46

dz,我去年搞过500w

zhuce3212 · 发表于 2024-10-9 13:55:32

DZ，采集有Python借口吗

灌水王 · 发表于 2024-10-9 13:56:20

这个可以自己写啊，DZ 帝国织梦的接口大部分有的

niy47 · 发表于 2024-10-9 13:56:54

py我只来做为火车头的插件，来处理一些火车头处理不了的内容。主采集还是火车头，很爽用起来。

angel · 发表于 2024-10-9 13:57:43

TWCMS、WELLCMS可以轻松在你数据量后再加个0

百万级别数据量，除了帝国用什么程序好，高铁采集器发布

浏览过的版块