位置: 编程技术 - 正文
Node.js 实现简单小说爬虫实例(nodejs实战教程)
发布时间：2024-02-27推荐整理分享Node.js 实现简单小说爬虫实例(nodejs实战教程)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:node.js快速入门,node.js怎么用,nodejs实现简单的发布文章,nodejs实战教程,node.js怎么用,nodejs实战教程,nodejs实现简单的发布文章,node.js怎么用,内容如对您有帮助，希望把文章链接给更多的朋友！
最近因为剧荒，老大追了爱奇艺的一部网剧，由丁墨的同名小说《美人为馅》改编，目前已经放出两季，虽然整部剧槽点满满，但是老大看得不亦乐乎，并且在看完第二季之后跟我要小说资源，直接要奔原著去看结局……
随手搜了下，都是在线资源，下载的话需要登录，注册登录好麻烦，写个爬虫玩玩也好，于是动手用 node 写了一个，这里做下笔记
工作流程
获取 URLs 列表(请求资源 request模块) 根据 URLs 列表获取相关页面源码(可能遇到页面编码问题，iconv-lite模块) 源码解析，获取小说信息( cheerio模块) 保存小说信息到 Markdown 文件，并且加适当修饰以及章节信息(写文件 fs、同步请求资源 sync-request 模块) Markdown 转 PDF (使用 Pandoc 或者 Chrome 的打印功能)获取 URLs
根据小说的导航页，获取小说所有章节的 URL，并且以 JSON 数组的方式存储。
首选通过 http.get() 方法获取页面源码 获取到源码，打印发现中文乱码，查看发现 charset = 'gbk'，需要进行转码 使用 iconv-lite 模块进行转码，中文显示正常后开始解析源码，获取需要的 URL，为了更方便地解析，需要引进 cheerio 模块，cheerio 可以理解为运行在后台的 jQuery，用法与 jQuery 也十分相似，熟悉 jQuery 的同学可以很快的上手 将源码加载进 cheerio，分析了源码后得知所有章节信息都存于被 div 包裹的 a 标签中，通过 cheerio 取出符合条件的 a 标签组，进行遍历，获取章节的 title 和 URL，保存为对象，存进数组，(因为链接中存储的 URL 不完整，所以存储时需要补齐) 将对象数组序列化，写进 list.json 文件获取的列表示例
获取数据
有了 URLs 列表，接下来的工作就很机械了，遍历 URLs 列表请求资源，获取源码，解析源码，获取小说，写文件，但是，因为最终将所有的章节保存入一个文件，要保证章节的顺序，因此写文件需要 同步操作，实际上，我在编码的时候所有的操作都改成了同步方式
获取源码
通过解析读取的 list.json 文件，获取到 URLs 列表，遍历列表获取资源，因为需要确保章节的顺序，所以这里引进 sync-request 模块进行同步 request 请求资源，请求资源后照例转码
解析源码，获取小说
还是通过 cheerio 模块获取小说内容，避免影响观感，写操作之前去除内容中的的 html 标签
保存小说
写操作也需要同步操作，因此使用了同步写函数 fs.writeFileSync() 和 同步添加函数 fs.appendFileSync()，第一次写使用写函数，之后的内容都是进行 append 操作，为了改善阅读体验，每个章节前添加标题
也可以在内容前添加 拍 [TOC]，作为导航链接
Markdown 转 PDF
我将小说保存在 Markdown 文件中，为了提升阅读体验，可以将 Markdown 文件转换成 PDF 文件，目前我较为喜欢的两种方式，通过 Chrome 的打印功能 以及 pandoc 转换
Chrome 打印
SublimeText 有个插件 markdown preview ，可通过 Alt + m 快捷键在 Chrome 中预览 Markdown，在 Chrome 页面中右键，选择打印，调整好参数后，选择另存为 PDF，简单，粗暴，深得我心
打印效果：
pandoc 转换pandoc 是十分强大的文件格式转换工具，可以将 Markdown 文件转换成多种格式，今晚在 windows 下折腾了半天，始终检索不到 pdflatex，关于 pandoc，后面会专门写一篇总结。
PDF 已经发给老大了，现在正在看
关于python、node、爬虫
在之前很长的一段时间里，很想用 Python，很想写爬虫，更想用 Python 写爬虫，甚至成为了心里的一块执念，随着接触的知识更全面，执念也逐渐淡去，少了很多“想”，遇事想着多去动手，实践出真知。
标签: nodejs实战教程
本文链接地址:https://www.jiuchutong.com/biancheng/374088.html 转载请保留说明！上一篇：Nodejs下DNS缓存问题浅析(nodejs ddd)
下一篇：node+experss实现爬取电影天堂爬虫(node网络爬虫)
