robot是不是阻止不了site:mydomain.com

yang2018 · 发表于 2013-8-9 23:08:10

RT
我在robot.txt写入Disallow: /不想被抓取的目录/
问题来了，site:mydomain.com 仍然能列出那个“不想被抓取的目录”里面页面，这怎么解决？

月光飞燕 · 发表于 2013-8-9 23:12:13

你的目录已经被提前抓取了，而你写晚了
这种情况只有慢慢等了

若鱼 · 发表于 2013-8-9 23:17:45

已经被索引了，后面加的robot.txt 只能阻止继续抓取
去gg webmaster tools提交给他们，让删除掉

yang2018 · 发表于 2013-8-9 23:30:50

若鱼发表于 2013-8-9 23:17
已经被索引了，后面加的robot.txt 只能阻止继续抓取
去gg webmaster tools提交给他们，让删除掉
...

话说我是在GG site的是时候还没搜到那里面的内容之前加入的，由于是新站，所以site的比较多，也易于观察，敢保证没看走眼的

若鱼 · 发表于 2013-8-9 23:37:15

yang2018 发表于 2013-8-9 23:30
话说我是在GG site的是时候还没搜到那里面的内容之前加入的，由于是新站，所以site的比较多，也易于观察， ...

你没site出来，不代表gg蜘蛛没爬过，有时候索引了，只是没放出来而已。。webmaster tools里边看到的索引内容就和你site出来的数量不同。

百度可能不遵守robots，但这点在gg是没有问题的，你需要去掉索引，在webmaster tools提交一下就OK了

ll1200425 · 发表于 2013-8-12 01:00:45

动作要快，收录了就只有等待了