本帖最后由 lomboz 于 2013-8-8 23:24 编辑
月光飞燕 发表于 2013-8-8 22:59
不是很清楚alexa和semrush还有其他的工具站是否遵守robot协议,不过可以写信去问问
应该有答复,楼主知道后 ...
稍稍的搜索了下!
alexa 的 http://www.alexa.com/help/webmasters
插入:
User-agent: ia_archiver
Disallow: /
semrush 的 http://www.semrush.com/bot.html
插入:
User-agent: SemrushBot
Disallow: /
|