lovekisser 发表于 2011-12-31 11:11:35

用SB一段时间,但发现SB有点不合理的地方,求弥补方式

SB自带的链接收割工具不够强大,所以我买了连接包,发了半个月也没发完,提示成功了20多W条连接,我也没有检测。但昨天随机打开了几个连接包中的链接,发现很多10年的文章页面,09年的也有,08年的也有啊!!!

像08,09,10年的的aa页面早都被人发烂了,再发的话没有价值,反倒有副作用了!

于是把连接包,提取了下根域名,检测了下有效性,剩了9W左右。

现在问题来了,我怎样能提取到这9W域名每天更新或者近期更新或者指定时间更新的AA页面呢?有大侠说了用火车头把链接采集下,但问题1是连接没有规律性,2是免费版火车ACCESS数据库也支持不了百万数据我觉得。是否有某种收割工具,不是根据搜索引擎收割AA页面,而是根据域名列表收割的呢?

麻烦知道的大侠分享下

PS:现在地球人把AA站点都收割完了,我用sb自带的收割工具收割连接,很多的连接在包里都存在了,觉得在弄下去没必要

挨个搞 发表于 2011-12-31 11:27:14

看页面时间最直接的是看sitemap或者rss输出
页: [1]
查看完整版本: 用SB一段时间,但发现SB有点不合理的地方,求弥补方式