Nodejs爬虫进阶教程之异步并发控制(nodejs爬取数据)

编辑：rootadmin

推荐整理分享Nodejs爬虫进阶教程之异步并发控制(nodejs爬取数据)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:nodejs爬虫技术,node.js爬虫教程,nodejs爬虫技术,nodejs爬虫框架crawler,nodejs爬取数据,nodejs爬虫技术,node js爬虫,nodejs爬虫技术,内容如对您有帮助，希望把文章链接给更多的朋友！

之前写了个现在看来很不完美的小爬虫，很多地方没有处理好，比如说在知乎点开一个问题的时候，它的所有回答并不是全部加载好了的，当你拉到回答的尾部时，点击加载更多，回答才会再加载一部分，所以说如果直接发送一个问题的请求链接，取得的页面是不完整的。还有就是我们通过发送链接下载图片的时候，是一张一张来下的，如果图片数量太多的话，真的是下到你睡完觉它还在下，而且我们用nodejs写的爬虫，却竟然没有用到nodejs最牛逼的异步并发的特性，太浪费了啊。

思路

这次的的爬虫是上次那个的升级版，不过呢，上次那个虽然是简单，但是很适合新手学习啊。这次的爬虫代码在我的github上可以找到=>NodeSpider。

整个爬虫的思路是这样的：在一开始我们通过请求问题的链接抓取到部分页面数据，接下来我们在代码中模拟ajax请求截取剩余页面的数据，当然在这里也是可以通过异步来实现并发的，对于小规模的异步流程控制，可以用这个模块=>eventproxy，但这里我就没有用啦！我们通过分析获取到的页面从中截取出所有图片的链接，再通过异步并发来实现对这些图片的批量下载。

抓取页面初始的数据很简单啊，这里就不做多解释啦

模拟ajax请求获取完整页面

接下来就是怎么去模拟点击加载更多时发出的ajax请求了，去知乎看一下吧！

有了这些信息，就可以来模拟发送相同的请求来获得这些数据啦。

在代码中post这条请求异步并发控制下载图片再获取完了所有的图片链接之后，即判定response.msg为空时，我们就要对这些图片进行下载了，不可能一条一条下对不对，因为如你所看到的，我们的图片足足有

没错，2万多张，不过幸好nodejs拥有神奇的单线程异步特性，我们可以同时对这些图片进行下载。但这个时候问题来了，听说同时发送请求太多的话会被网站封ip哒！这是真的吗？我不知道啊，没试过，因为我也不想去试(￣?￣〃)，所以这个时候我们就需要对异步并发数量进行一些控制了。

在这里用到了一个神奇的模块=>async，它不仅能帮我们拜托难以维护的回调金字塔恶魔，还能轻松的帮我们进行异步流程的管理。具体看文档啦，因为我自己也不怎么会用，这里就只用到了一个强大的async.mapLimit方法。真的很厉害哦。

先看这里=>

mapLimit方法的第一个参数photos是所有图片链接的数组，也是我们并发请求的对象，asyncNum是限制并发请求的数量，如果没有这个参数的话，将会有同时两万多条请求发送过去，嗯，你的ip就会被成功的封掉，但当我们有这个参数时，比如它的值是，则它一次就只会帮我们从数组中取条链接，执行并发的请求，这条请求都得到响应后，再发送下条请求。告诉泥萌，并发到同时条没有事的，下载速度超级快，再往上就不知道咯，你们来告诉我...

以上所述给大家介绍了Nodejs爬虫进阶教程之异步并发控制的相关知识，希望对大家有所帮助。

使用基于Node.js的构建工具Grunt来发布ASP.NET MVC项目 Grunt简介Grunt是一款基于js和node.js的构建工具，由于这段时间node.js越来越火爆，grunt拥有丰富的开源社区支持，产生了很多插件。还有一些插件散落在node

快速掌握Node.js环境的安装与运行方法安装程序NodeJS提供了一些安装程序，都可以在nodejs.org这里下载并安装。Windows系统下，选择和系统版本匹配的.msi后缀的安装文件。MacOSX系统下，选择.pkg

解析Node.js基于模块和包的代码部署方式模块路径解析规则有经验的C程序员在编写一个新程序时首先从make文件写起。同样的，使用NodeJS编写程序前，为了有个良好的开端，首先需要准备好代码