位置: 编程技术 - 正文

Nodejs爬虫进阶教程之异步并发控制(nodejs爬取数据)

编辑:rootadmin

推荐整理分享Nodejs爬虫进阶教程之异步并发控制(nodejs爬取数据),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:nodejs爬虫技术,node.js爬虫教程,nodejs爬虫技术,nodejs爬虫框架crawler,nodejs爬取数据,nodejs爬虫技术,node js爬虫,nodejs爬虫技术,内容如对您有帮助,希望把文章链接给更多的朋友!

之前写了个现在看来很不完美的小爬虫,很多地方没有处理好,比如说在知乎点开一个问题的时候,它的所有回答并不是全部加载好了的,当你拉到回答的尾部时,点击加载更多,回答才会再加载一部分,所以说如果直接发送一个问题的请求链接,取得的页面是不完整的。还有就是我们通过发送链接下载图片的时候,是一张一张来下的,如果图片数量太多的话,真的是下到你睡完觉它还在下,而且我们用nodejs写的爬虫,却竟然没有用到nodejs最牛逼的异步并发的特性,太浪费了啊。

思路

这次的的爬虫是上次那个的升级版,不过呢,上次那个虽然是简单,但是很适合新手学习啊。这次的爬虫代码在我的github上可以找到=>NodeSpider。

整个爬虫的思路是这样的:在一开始我们通过请求问题的链接抓取到部分页面数据,接下来我们在代码中模拟ajax请求截取剩余页面的数据,当然在这里也是可以通过异步来实现并发的,对于小规模的异步流程控制,可以用这个模块=>eventproxy,但这里我就没有用啦!我们通过分析获取到的页面从中截取出所有图片的链接,再通过异步并发来实现对这些图片的批量下载。

抓取页面初始的数据很简单啊,这里就不做多解释啦

模拟ajax请求获取完整页面

接下来就是怎么去模拟点击加载更多时发出的ajax请求了,去知乎看一下吧!

Nodejs爬虫进阶教程之异步并发控制(nodejs爬取数据)

有了这些信息,就可以来模拟发送相同的请求来获得这些数据啦。

在代码中post这条请求 异步并发控制下载图片再获取完了所有的图片链接之后,即判定response.msg为空时,我们就要对这些图片进行下载了,不可能一条一条下对不对,因为如你所看到的,我们的图片足足有

没错,2万多张,不过幸好nodejs拥有神奇的单线程异步特性,我们可以同时对这些图片进行下载。但这个时候问题来了,听说同时发送请求太多的话会被网站封ip哒!这是真的吗?我不知道啊,没试过,因为我也不想去试( ̄? ̄〃),所以这个时候我们就需要对异步并发数量进行一些控制了。

在这里用到了一个神奇的模块=>async,它不仅能帮我们拜托难以维护的回调金字塔恶魔,还能轻松的帮我们进行异步流程的管理。具体看文档啦,因为我自己也不怎么会用,这里就只用到了一个强大的async.mapLimit方法。真的很厉害哦。

先看这里=>

mapLimit方法的第一个参数photos是所有图片链接的数组,也是我们并发请求的对象,asyncNum是限制并发请求的数量,如果没有这个参数的话,将会有同时两万多条请求发送过去,嗯,你的ip就会被成功的封掉,但当我们有这个参数时,比如它的值是,则它一次就只会帮我们从数组中取条链接,执行并发的请求,这条请求都得到响应后,再发送下条请求。告诉泥萌,并发到同时条没有事的,下载速度超级快,再往上就不知道咯,你们来告诉我...

以上所述给大家介绍了Nodejs爬虫进阶教程之异步并发控制的相关知识,希望对大家有所帮助。

使用基于Node.js的构建工具Grunt来发布ASP.NET MVC项目 Grunt简介Grunt是一款基于js和node.js的构建工具,由于这段时间node.js越来越火爆,grunt拥有丰富的开源社区支持,产生了很多插件。还有一些插件散落在node

快速掌握Node.js环境的安装与运行方法 安装程序NodeJS提供了一些安装程序,都可以在nodejs.org这里下载并安装。Windows系统下,选择和系统版本匹配的.msi后缀的安装文件。MacOSX系统下,选择.pkg

解析Node.js基于模块和包的代码部署方式 模块路径解析规则有经验的C程序员在编写一个新程序时首先从make文件写起。同样的,使用NodeJS编写程序前,为了有个良好的开端,首先需要准备好代码

标签: nodejs爬取数据

本文链接地址:https://www.jiuchutong.com/biancheng/370666.html 转载请保留说明!

上一篇:Node.js 条形码识别程序构建思路详解(vue条形码)

下一篇:使用基于Node.js的构建工具Grunt来发布ASP.NET MVC项目(如何使用node.js)

  • 农资公司性质
  • 小规模纳税人增值税减免账务处理
  • 小规模销售收入免税会计分录
  • 出口消费税税率
  • 投资现金流是负的说明什么
  • 办公费专票怎么做账
  • 转账支票有没有密码
  • 免税收入要计入应纳税所得额吗
  • 如何根据资产负债表填写现金流量表
  • 劳务所得报酬
  • 银行理财怎么做才能赚钱
  • 收到以前年度的货款分录
  • 可供出售金融资产是指什么
  • 房地产企业营销设施建造费包括哪些
  • 利润分配的核算PPT
  • 不同税率的增值税如何报税
  • 施工单位给你钱敢领吗
  • 计算完工产品成本和月末在产品成本
  • 火灾造成的存货损失进项税额如何处理
  • 增值税的价外费用不包括什么
  • 物业管理公司销售岗位职责
  • 新注册的个体户怎么开发票
  • 买新车抵旧车
  • 电子通行费如何开发票
  • 怎么查银行账户余额
  • 对公账户发工资的利弊
  • 公司党支部的费用入账
  • 装修公司购装修材料入什么科目?
  • 对整个产品的零件退回的财务会计处理?
  • 合同作废印花税法规定
  • 小型微利企业免税政策
  • Windows11预览体验
  • php数组函数,选班长
  • win11正式版问题
  • php ftp功能
  • PHP:pg_connection_busy()的用法_PostgreSQL函数
  • 将银行借款存入银行会引起企业资产总额的变化吗
  • 公司一直没有收入怎么办
  • 没有购入发票可以开出发票
  • 计提本月应交的所得税费用
  • 下岗职工生活费最多发多少个月
  • 土地增值税扣除项目金额怎么算
  • ipad最长使用时间
  • 豁免债权如何做账
  • 采购材料尚未入库款未付的记账凭证
  • 记账软件的作用
  • Yii2 rbac权限控制之rule教程详解
  • 税收滞纳金的最新法律规定
  • 销售方开具的红字信息表
  • 收到进项发票怎么入账
  • 编制科目余额表的方法
  • 民间非营利组织有哪些
  • 工业企业会计核算中常见的会计核算程序有哪些?
  • 向投资者支付的股息
  • 应收账款无法收回说明模板
  • 机票行程单可以打印几次
  • 购买专利后有占有权吗
  • 残次品生产成本怎么算
  • 集团固定资产管理
  • 承租人对融资租赁业务进行会计处理的方法有( )
  • 企业有生产单没发票
  • aesm_service.exe是什么
  • w10 xbox
  • seti@home.exe - seti@home是什么进程 有什么用
  • win7共享文件夹关闭密码保护
  • win10升级安装视频
  • visual studio 10 cocos2dx项目移植到eclipse的android项目(配置请参照上一篇文章开发环境搭建)
  • margin-left auto
  • 原生javascript+css3编写的3D魔方动画旋扭特效
  • 前端js优化
  • php使用js
  • 讲解JavaScript中for...in语句的使用方法
  • android webapi调用
  • 爱加密企业版
  • [置顶]游戏名:chivalry2
  • 填了专项附加扣除但没有进行综合年度汇算
  • 山西国家税务网官网
  • 云票助手使用步数怎么改
  • 国家税务总局56号
  • 芜湖地税微机编码是什么
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设