flyzy博客
分享便宜VPS与网络优惠
搬瓦工

[全球爬虫论坛] python获取的网页和浏览器的结果不一致

最近想冲刺一下考研, 所以就上去P站看考研的视频(咳咳咳)
使用python获取网页源码的时候发现用re匹配不到结果
最后我把python爬下来的内容用浏览器打开看看,发现直接提示
no valid source are available for the video
了, 加了cookie和UA也是一样, 代理和浏览器用的是同一个, mjj有啥解决思路嘛?

地址: {P站主域名}/view_video.php?viewkey=ph620dd32bd1ec4

正常的返回网页结果应该有 media_4 这个关键词的

湖南省网友说:换个姿势,用selenium 或者puppeteer

浙江省网友说:2楼正解,稍微有点反爬的re处理都比较麻烦

浙江省网友说:大概率是js加载的数据 直接上selenium

山东省网友说:selenium多慢啊, 要是js渲染的就去解这个js

赞(0) 打赏
关注我们
未经允许不得转载:flyzy博客 » [全球爬虫论坛] python获取的网页和浏览器的结果不一致
分享到: 更多 (0)

这是一种鼓励

支付宝扫一扫打赏

微信扫一扫打赏