英文站的robots.txt文件该怎么写?

angel · 发表于 2011-5-23 15:12:13

本帖最后由 angel 于 2011-5-25 15:25 编辑

RT,在网上找到个robots.txt收改了一下,但是GG还是收录一些TAG页,问下大家针对GOOGLE的robots.txt都怎么写,谢谢了

zzq648770 · 发表于 2011-5-23 17:38:56

为什么不能发贴，还能做任务

hlzone · 发表于 2011-5-24 15:15:40

其实收点tag页无伤大雅

625525594 · 发表于 2011-5-24 15:19:52

修改后效果没那么快的

angel · 发表于 2011-5-25 11:58:52

TAG页面有很多重复的,这样收录会影响网站权重的

妃子笑 · 发表于 2011-5-25 15:36:03

XML里不要加入TAG就好了，自然收录的东西一般不会影响排名和权重的。