利用node.js爬取指定排名网站的JS引用库详解(node爬取数据)

编辑：rootadmin

推荐整理分享利用node.js爬取指定排名网站的JS引用库详解(node爬取数据)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:node.js爬虫教程,nodejs爬虫框架crawler,node网络爬虫,nodejs爬虫框架crawler,node python 爬虫,node网络爬虫,nodejs爬取数据,nodejs爬取数据,内容如对您有帮助，希望把文章链接给更多的朋友！

前言

本文给大家介绍的爬虫将从网站爬取排名前几的网站，具体前几名可以具体设置，并分别爬取他们的主页，检查是否引用特定库。下面话不多说了，来一起看看详细的介绍：

所用到的node主要模块

express 不用多说 request http模块 cheerio 运行在服务器端的jQuery node-inspector node调试模块 node-dev 修改文件后自动重启app

关于调试Node

在任意一个文件夹，执行node-inspector，通过打开特定页面，在页面上进行调试，然后运行app，使用node-dev app.js来自动重启应用。

所碰到的问题

1. request请求多个页面

由于请求是异步执行的，和分别返回3个页面的数据，这里只爬取了个网站，一个页面有个，所以有3页，通过循环里套request请求，来实现。

通过添加请求头可以实现基本的反爬虫

处理数据的方法都写在analyData()里面，造成后面的数据重复存储了，想了很久，才想到一个解决方法，后面会写到是怎么解决的。

2. 多层回调

仔细观察代码，你会发现，处理数据的方法使用了如下的多层回调，也可以不使用回调，写在一个函数内部；因为，每层都要使用上一层的数据，造成了这样的写法。

3. 正则获取JS库

由于获取页面库，首先需要获取到script的src属性，然后通过正则来实现字符串匹配。

获取到的script可能是上面这样的，由于库名的命名真是各种各样，后来想了一下，因为文件名是用.js结尾的，所以就以点号为结尾，然后把点号之前的字符截取下来，这样获得了库名，代码如下。

4.cheerio模块获取JS引用链接

这部分也花了一点时间，才搞定，cheerio获取DOM的方法和jQuery是一样的，需要对返回的DOM对象进行查看，就可以看到对象里隐藏好深的href属性，方法大同小异，你也可以使用其他选择器，选择到script标签

5.存储数据到数据库

存储数据的逻辑是先获取所有的script信息，然后push到一个缓存数组，由于push后面，紧跟着存储到数据库的方法，这两个方法都写在循环里面的，例如爬取5个网站，每个网站存储一次，后面也会跟着存储，造成数据重复存储。解决方法是存储数据的一般逻辑是先查，再存，这个查比较重要，查询的方法也有多种，这里主要是根据库名来查找唯一的数据对象，使用findOne方法。注意，由于node.js是异步执行的，这里的闭包，每次只传一个i值进去，执行存储的操作。

6.分页插件

本爬虫前端使用了bootstrap.paginator插件，主要是前台分页，返回数据，根据点击的页数，来显示对应的数据，后期考虑使用AJAX请求的方式来实现翻页的效果，这里的注意项，主要是最后一页的显示，最好前面做个判断，因为返回的数据，不一定刚好是页数的整数倍

完整代码

1. 前端

2.后端路由

源码下载

github下载地址（本地下载）

后记

通过这个小爬虫，学习到很多知识，例如爬虫的反爬虫有哪些策越，意识到node.js的异步执行特性，前后端是怎么进行交互的。同时，也意识到有一些方面的不足，后面还需要继续改进，欢迎大家的相互交流。

好了，

标签: node爬取数据

本文链接地址:https://www.jiuchutong.com/biancheng/380900.html 转载请保留说明！