本帖最后由 flyingdyl 于 2014-8-20 21:19 编辑
这个站群软件开发目的一是为了流量,二是为了镜像。
不管是亚马逊还是易趣脸谱等什么网站,都可以瞬间镜像到我的域名下,可以一个域名对多个目标站,也可以一个域名对一个站。还可以自动蔓延,爬虫会顺着目标网站的外链爬啊爬。。。经2周测试,4个域名,到现在2014年8月20日21点06分,已经镜像了3568645个网站,谷歌收录数将近57w,之前测试阶段日流量最高达到9000IP每天。可以预见将来的流量只会更多哦~
下面开发计划还有 关键词蔓延,同义词替换,各种语言替换,以及CS注入等功能,各位有需求的也可以向我反映下,我会根据计划逐步开发
这个网站
基本功能:顶级域名镜像多个网站,多个域名镜像一个网站都行。限制一个域名镜像一个网站(镜像,域名覆盖,单域对多镜像,多域对单镜像)
替换功能:支持文本替换,正则替换。(可以实现瞬间扒站,再也不用找人扒站喽)
代理功能:支持使用代理访问镜像网站(可以防止被网站主k掉我们的服务器,反代和CDN:保护服务器不被投诉)
错误状态码功能:可以指定错误的返回码显示的友好页面
缓存功能:设置多种文件格式是否被缓存,设置css js image html等常用文件的缓存时间
代码插入功能:可以在网页中头部和尾部插入代码(可以是广告,可以是统计代码)(各种弹窗,各种content lock )
域名功能:设置不允许被镜像的域名或者.com \.cn后批不允许被添加进镜像
自动蔓延功能:在没有对域名进行限制的情况下,网站会把网站中的外链变成自己的网站,一直循环下去,让爬虫出不去
插件功能:目前插件有手机网页插件,原镜像网站统计代码去除插件,翻译插件,同义词插件(目前性能不稳定),轮链接插件
日志功能:通过日志可以查看哪些镜像网站把我们的服务器封掉了,或者别人的网站出现问题或者打不开的情况。然后我们通过插件或者代理做出调整
目前仅打算放出5个使用名额,希望找到更多的合作伙伴,一起在英文做国外圈里携手并行,有意向的同学请速速PM我,也可以加麻花藤:80九47叁1
这个不是广告贴啦,如果有不合适的地方,请版主告诉我,我会尽快不合理的地方。
|