我一英文站头条来爬个毛线？

灌水王 · 发表于 2024-4-9 23:09:43

蜘蛛IP还是石家庄的，难道头条要布局国外搜索了？

110.249.202.242 [14/Mar/2022:03:25:06 +0800] "GET /dajiba.html HTTP/2.0" 200 14119 "-" Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)

复制代码

f12563 · 发表于 2024-4-9 23:10:30

头条拓展海外市场，全靠你的站了。

灌水王 · 发表于 2024-4-9 23:11:06

我觉得也是，马上40万数据了:lol

灌水王 · 发表于 2024-4-9 23:11:51

:lol:lol:lol

airysky · 发表于 2024-4-9 23:12:16

ROBOTS里禁止他

bbq · 发表于 2024-4-9 23:12:46

所以dajiba.html到底是什么？放出来给大伙看看呗。:lol

灌水王 · 发表于 2024-4-9 23:12:54

搜索出来的带有 dajiba.html 的英文站有下面这些：

https://**job.net/dajiba.htmlhttps://www.nudevista.pro/dajiba.htmlhttps://anybunny.tv/search/dajiba.htmlhttps://e**er.name/too/dajiba.htmlhttps://xlxx.pro/dajiba.htmlhttps://www.xshaker.net/tube/dajiba.htmlhttps://www.**o-zona.com/seach/dajiba.htmlhttps://just**o.me/videos/dajiba.htmlhttps://babe4u.info/get/dajiba.html

复制代码

其中有超过 40 万数据的网站，就两三个。如果显示的是 **，敏感词是 p o r n.

请参考学习~

linglingwww · 发表于 2024-4-9 23:13:00

我想看看你的那个html