flyzy博客
分享便宜VPS与网络优惠
搬瓦工

360果然是流氓起家,连360蜘蛛都搞伪装不规矩

42.236.10.114 爬虫的User-agent好JB恶心
baidu.sogo.uc.UCBrowser 再带个 com.alibaba.android.rimet        
有时候还要带个referer是http://baidu.com/

这是要嫁祸还是要搞个大厂联合蜘蛛?

为啥说42.236.10.114是360家的,因为 http://s9.qhres2.com/static/7435af08d546fe05.pdf 里面写了这个ip,qhres2是360家的

有一说一,还挺智能的,分析出了我限制了每分钟爬取页数,超过就会ban掉ip,每天就按这个限制过来爬刚刚好 我是今天刷了日志才发现的

42.236.10.114 – – [17/Mar/2022:00:05:10 +0800] “GET /xx.jpg HTTP/1.1” 302 138 “http://www.***.com/” “Mozilla/5.0 (Linux; U; Android 8.1.0; zh-CN; EML-AL00 Build/HUAWEIEML-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.108 baidu.sogo.uc.UCBrowser/11.9.4.974 UWS/2.13.1.48 Mobile Safari/537.36 AliApp(DingTalk/4.5.11) com.alibaba.android.rimet/10487439 Channel/227200 language/zh-CN”

黑龙江省网友说:ping0cc 收集了大部分的蜘蛛IP
https://ip.ping0.cc/ip/42.236.10.114

赞(0) 打赏
关注我们
未经允许不得转载:flyzy博客 » 360果然是流氓起家,连360蜘蛛都搞伪装不规矩
分享到: 更多 (0)

这是一种鼓励

支付宝扫一扫打赏

微信扫一扫打赏