nodejs批量下载图片的实现方法(nodejs实现文件下载)

推荐整理分享nodejs批量下载图片的实现方法(nodejs实现文件下载)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:nodejs实现jpg下载,nodejs怎么下载,node.js批量添加数据,node下载图片,nodejs实现文件下载,nodejs怎么下载,nodejs实现jpg下载,nodejs实现文件下载,内容如对您有帮助，希望把文章链接给更多的朋友！

今天想获取一大批猫的图片，然后就在流浪器搜索框中输入猫，然后点击图片。就看到了一大波猫的图片： 爬取图片链接

因为之前也写过nodejs爬虫功能，所以觉得应该很简单，就用cheerio来处理dom啦，结果打印一下啥也没有，后来查看源代码：

发现waterfall_zoom里面空空如也，查找了一下，发现所有的数据都是写在<script>里面，然后动态加载到页面的，所以用cheerio.load到的页面里面其实没数据的。真实数据：

分析完毕，刷刷写代码：

2. 下载图片到本地

2.1 粗糙的方案

最初的思路很简单，简单的fs.createWriteStream()就能解决：

使用方式：

成功捕获一只猫！然后写了一个循环准备捕获所有猫。然而这种方式是串行的，速度很慢！下载一大批图片要花大量时间。

2.2 使用async异步批量下载

关于async的map操作，详见：async_demo/map.js，对集合中的每一个元素，执行某个异步操作，得到结果。所有的结果将汇总到最终的callback里。与forEach的区别是，forEach只关心操作不管最后的值，而map关心的最后产生的值。

提供了两种方式：

在此处：

注：此处使用setTimeout，是因为下载需要一定时间，在笔者较慢网速下，需要ms的间隔能确保每张图片下载完全。

成功捕获一批猫猫！

2.3 使用bagpipe批量

bagpipe是朴灵大大做的一个在nodejs中控制并发执行的模块。其安装和使用也比较简单:

使用：

在此处：

3.总结

作为一个程序员，能用程序解决就不手动解决。每一次尝都会有新的收获。