wordpress做的采集站怎么解决文章重复？

螃蟹 · 发表于 2013-6-19 19:55:45

有的标题重复，有的标题内容均重复，试了好几个插件和sql都不行！数据量大了的关系，非常慢的。

月光飞燕 · 发表于 2013-6-19 19:58:04

这个需要技术支持，没技术还是不要做采集站
sql使用模糊搜索语句like%%

螃蟹 · 发表于 2013-6-19 20:26:22

月光飞燕发表于 2013-6-19 19:58
这个需要技术支持，没技术还是不要做采集站
sql使用模糊搜索语句like%%

主要这个站是架设在云上的，本身有很多限制，现在数据量大了操作数据库很容易到上限。。。这就是为什么现有的插件和sql查询删除语句行不通的原因。
换个思路，如果不好去除重复，如何做优化利于seo呢？我是在google站长工具里看到重复数据的提示才发现问题的！

lowrie · 发表于 2013-6-19 20:30:27

有插件，你百度找下。

cyrich · 发表于 2013-6-19 21:28:30

通常采集回来的内容，我都是通过SQL分拆、拼接、变换内容、变换标题等等，还有去标题、关键词、标签重复，自己写存储过程和函数，最后插入wordpress的相关表里面。还有定时发布，我没有使用任何定时发布的插件，直接生成所需的发布时间。

luguokankan · 发表于 2013-6-20 06:52:56

cyrich 发表于 2013-6-19 21:28
通常采集回来的内容，我都是通过SQL分拆、拼接、变换内容、变换标题等等，还有去标题、关键词、标签重复， ...

都通过sql啊, 这个也太麻烦了吧......
為什麼不使用php啊? 你要是有些变量需要修改,不就得修改存储过程了?

风吹不动 · 发表于 2013-6-20 06:54:21

cyrich 发表于 2013-6-19 21:28
通常采集回来的内容，我都是通过SQL分拆、拼接、变换内容、变换标题等等，还有去标题、关键词、标签重复， ...

请教如何用sql分拆？

我是select数据后用php进行处理的，用sql会效率高些？

求指点

cyrich · 发表于 2013-6-20 13:11:28

风吹不动发表于 2013-6-20 06:54
请教如何用sql分拆？

我是select数据后用php进行处理的，用sql会效率高些？

只会SQL语言，没学过PHP，所以一般使用SQL来编缉数据，必要时就写个存储过程和函数

梦雨 · 发表于 2013-6-20 13:20:03

http://blog.csdn.net/dengwen168/article/details/8832775
用火车头采集和发布比较简单.

mattfox · 发表于 2013-6-20 13:37:35

如果要防止完全重复，给title字段加上Unique索引，不过这样wordpress使用的时候会有一些问题比如无法自动保存。或者你另建一个key-value索引表只留ID和TITLE两个字段然后用它对应wp_posts去重

螃蟹 · 发表于 2013-6-20 19:51:37

mattfox 发表于 2013-6-20 13:37
如果要防止完全重复，给title字段加上Unique索引，不过这样wordpress使用的时候会有一些问题比如无法自动 ...

谢谢！！！！！！！！！！！！

fox598 · 发表于 2013-6-21 07:29:58

这个问题解决了会变成SEO的奥特曼！~