flyzy博客
分享便宜VPS与网络优惠
搬瓦工

有没有爬虫大佬讲讲现在的pixiv怎么爬?

reqeusts第一次获取到的只有页面的页首,就像下图这样。body部分好像是由某段js再加载的,我不太懂这个,有大佬能解答一下怎么爬吗?

云南省网友说:JS 动态加载网页的基本原理就是:
先渲染基本网页框架,
然后通过接口获取主体内容数据(一般是数组或 JSON),
根据获取的数据动态生成相应的元素并插入到网页中。

你 F12 键,选择 Network,然后按 F5 键刷新,把所有链接数据都看一遍,找到那个获取主体内容数据的链接,分析链接组成(GET/POST)以及数据内容。

浙江省网友说:那当然是模拟加载出来后再爬啦,这个比较简单,要么就是 F12 抓接口~

海南省网友说:模拟浏览器加载

湖南省网友说:感谢,我试试。另外抓接口是什么意思啊,能举例说明一下吗

吉林省网友说:网页内容如果是js动态加载,只能抓js接口,抓页面没用。

四川省网友说:十分感谢大佬的耐心解答

四川省网友说:用 selenium

赞(0) 打赏
关注我们
未经允许不得转载:flyzy博客 » 有没有爬虫大佬讲讲现在的pixiv怎么爬?
分享到: 更多 (0)

这是一种鼓励

支付宝扫一扫打赏

微信扫一扫打赏