CF怎么屏蔽谷歌蜘蛛

人生再褪色 · 发表于 2024-2-19 14:46:18

CF怎么屏蔽谷歌蜘蛛，屏蔽谷歌的as好像没用。。。

lefiiibraih68 · 发表于 2024-2-19 14:47:14

在robots.txt里屏蔽或许也可以

灌水王 · 发表于 2024-2-19 14:47:23

好鸭发表于 2022-3-3 02:44
在robots.txt里屏蔽或许也可以

谷歌蜘蛛好像不认这个

灌水王 · 发表于 2024-2-19 14:48:02

可以的可能你没弄对

https://support.google.com/news/publisher-center/answer/9605477

或者网页加meta tag

复制代码

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag

caocao · 发表于 2024-2-19 14:48:15

image 发表于 2022-3-3 03:10
可以的可能你没弄对

https://support.google.com/news/publisher-center/answer/9605477

这个是只屏蔽谷歌蜘蛛吗

qivson · 发表于 2024-2-19 14:48:22

只要谷歌的话就

复制代码

改中间的robots 为 googlebot

robots为所有引擎可以单独设为具体的引擎谷歌的为googlebot

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag

flys · 发表于 2024-2-19 14:48:30

image 发表于 2022-3-3 03:15
只要谷歌的话就

添加上去了

灌水王 · 发表于 2024-2-19 14:48:53

刚发现右上角有中文切换你可以读的看看

noindex, nofollow 都加上

我发出来的代码里前后<>加了空格记得去掉（不然论坛不让发

复制代码

灌水王 · 发表于 2024-2-19 14:49:27

image 发表于 2022-3-3 03:24
刚发现右上角有中文切换你可以读的看看

noindex, nofollow 都加上

好像没效果啊。。。蜘蛛还是每天来几十万次

灌水王 · 发表于 2024-2-19 14:50:25

不可能不认的，要不认就别在道上混了呢，好好检查一下吧
不认robots.txt就爬，要吃牢饭的，所谓爬虫学得好什么什么来着的 CF怎么屏蔽谷歌蜘蛛