火车头虽然简单,但好累啊
数据处理好烦 没耐性
还有300多个网站要采集
山西省网友说:采集什么啊,采集这么多站
贵州省网友说:还是python 好使,300多个目标站,开10个线程爬虫放出去,全爬完
湖南省网友说:
陕西省网友说:计划任务
山西省网友说:python协程爬可能更快,再快那就协程发送请求 多进程做正则匹配之类,好像称为分布式爬虫
黑龙江省网友说:有300多个资源站的会员 干脆采集过来做个网站算了
火车头虽然简单,但好累啊
数据处理好烦 没耐性
还有300多个网站要采集
山西省网友说:采集什么啊,采集这么多站
贵州省网友说:还是python 好使,300多个目标站,开10个线程爬虫放出去,全爬完
湖南省网友说:
陕西省网友说:计划任务
山西省网友说:python协程爬可能更快,再快那就协程发送请求 多进程做正则匹配之类,好像称为分布式爬虫
黑龙江省网友说:有300多个资源站的会员 干脆采集过来做个网站算了