人生再褪色 发表于 2024-2-19 14:46:18

CF怎么屏蔽谷歌蜘蛛

CF怎么屏蔽谷歌蜘蛛，屏蔽谷歌的as好像没用。。。

lefiiibraih68 发表于 2024-2-19 14:47:14

在robots.txt里屏蔽或许也可以

灌水王 发表于 2024-2-19 14:47:23

好鸭 发表于 2022-3-3 02:44
在robots.txt里屏蔽或许也可以
谷歌蜘蛛好像不认这个

灌水王 发表于 2024-2-19 14:48:02

可以的 可能你没弄对

https://support.google.com/news/publisher-center/answer/9605477

或者网页加meta tag
< meta name="robots" content="noindex, nofollow">

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag

caocao 发表于 2024-2-19 14:48:15

image 发表于 2022-3-3 03:10
可以的 可能你没弄对

https://support.google.com/news/publisher-center/answer/9605477

这个是只屏蔽谷歌蜘蛛吗

qivson 发表于 2024-2-19 14:48:22

只要谷歌的话 就
< meta name="googlebot" content="noindex" >

改中间的robots 为 googlebot

robots为所有引擎 可以单独设为具体的引擎 谷歌的为googlebot

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag

flys 发表于 2024-2-19 14:48:30

image 发表于 2022-3-3 03:15
只要谷歌的话 就



添加上去了

灌水王 发表于 2024-2-19 14:48:53

刚发现 右上角有中文切换 你可以读的看看

noindex, nofollow 都加上

我发出来的代码里 前后<>加了空格 记得去掉（ 不然论坛不让发

< meta name="googlebot" content="noindex, nofollow" >

灌水王 发表于 2024-2-19 14:49:27

image 发表于 2022-3-3 03:24
刚发现 右上角有中文切换 你可以读的看看

noindex, nofollow 都加上

好像没效果啊。。。蜘蛛还是每天来几十万次

灌水王 发表于 2024-2-19 14:50:25

不可能不认的，要不认就别在道上混了呢，好好检查一下吧
不认robots.txt就爬，要吃牢饭的，所谓爬虫学得好什么什么来着的https://cdn.jsdelivr.net/gh/master-of-forums/master-of-forums/public/images/patch.gif
页: [1]
查看完整版本: CF怎么屏蔽谷歌蜘蛛