佩会永 发表于 2023-4-12 07:36:02

网站目录下没有 robots.txt 但是谷歌爬虫无法访问我的网站

求教大佬

申请 google ad，但是出现错误：

网站已下线或无法访问

但是我的网站能够正常访问并且也没有 robots.txt

除了robots.txt，还有什么可能导致谷歌无法爬取的问题？

迁移重新安装，还是同样问题

panjianlan2123 发表于 2023-4-12 07:36:56

防火墙

灌水王 发表于 2023-4-12 07:37:33

请问是指 iptables 吗？这个全部放行的

灌水王 发表于 2023-4-12 07:37:54

应该是套了cf？把那个什么浏览器质询拦截的关了。不然机器人无法访问你的网站

cupreads 发表于 2023-4-12 07:38:08

多谢大佬 但是没有套cf :'(

灌水王 发表于 2023-4-12 07:38:49

有没有大佬啊

songtao1212 发表于 2023-4-12 07:39:31

Googlebot半年没来，套了个CF就好了

灌水王 发表于 2023-4-12 07:40:13

谷歌都不爬...该是什么拉跨站

流浪的浮萍 发表于 2023-4-12 07:41:05

我觉得只能是你的网站出问题了，谷歌蜘蛛是吃不饱的，只要能爬都是往死里爬

灌水王 发表于 2023-4-12 07:41:39

会不会跟域名有关？ .com 后缀
页: [1]
查看完整版本: 网站目录下没有 robots.txt 但是谷歌爬虫无法访问我的网站