位置: 编程技术 - 正文

Node.js 实现简单小说爬虫实例(nodejs实战教程)

编辑:rootadmin

推荐整理分享Node.js 实现简单小说爬虫实例(nodejs实战教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:node.js快速入门,node.js怎么用,nodejs实现简单的发布文章,nodejs实战教程,node.js怎么用,nodejs实战教程,nodejs实现简单的发布文章,node.js怎么用,内容如对您有帮助,希望把文章链接给更多的朋友!

最近因为剧荒,老大追了爱奇艺的一部网剧,由丁墨的同名小说《美人为馅》改编,目前已经放出两季,虽然整部剧槽点满满,但是老大看得不亦乐乎,并且在看完第二季之后跟我要小说资源,直接要奔原著去看结局……

随手搜了下,都是在线资源,下载的话需要登录,注册登录好麻烦,写个爬虫玩玩也好,于是动手用 node 写了一个,这里做下笔记

工作流程

获取 URLs 列表(请求资源 request模块) 根据 URLs 列表获取相关页面源码(可能遇到页面编码问题,iconv-lite模块) 源码解析,获取小说信息( cheerio模块) 保存小说信息到 Markdown 文件,并且加适当修饰以及章节信息(写文件 fs、同步请求资源 sync-request 模块) Markdown 转 PDF (使用 Pandoc 或者 Chrome 的打印功能)

获取 URLs

根据小说的导航页,获取小说所有章节的 URL,并且以 JSON 数组的方式存储。

首选通过 http.get() 方法获取页面源码 获取到源码,打印发现中文乱码,查看发现 charset = 'gbk',需要进行转码 使用 iconv-lite 模块进行转码,中文显示正常后开始解析源码,获取需要的 URL,为了更方便地解析,需要引进 cheerio 模块,cheerio 可以理解为运行在后台的 jQuery,用法与 jQuery 也十分相似,熟悉 jQuery 的同学可以很快的上手 将源码加载进 cheerio,分析了源码后得知所有章节信息都存于被 div 包裹的 a 标签中,通过 cheerio 取出符合条件的 a 标签组,进行遍历,获取章节的 title 和 URL,保存为对象,存进数组,(因为链接中存储的 URL 不完整,所以存储时需要补齐) 将对象数组序列化,写进 list.json 文件

获取的列表示例

获取数据

有了 URLs 列表,接下来的工作就很机械了,遍历 URLs 列表请求资源,获取源码,解析源码,获取小说,写文件,但是,因为最终将所有的章节保存入一个文件,要保证章节的顺序,因此写文件需要 同步操作,实际上,我在编码的时候所有的操作都改成了同步方式

获取源码

通过解析读取的 list.json 文件,获取到 URLs 列表,遍历列表获取资源,因为需要确保章节的顺序,所以这里引进 sync-request 模块进行同步 request 请求资源,请求资源后照例转码

Node.js 实现简单小说爬虫实例(nodejs实战教程)

解析源码,获取小说

还是通过 cheerio 模块获取小说内容,避免影响观感,写操作之前去除内容中的的 html 标签

保存小说

写操作也需要同步操作,因此使用了同步写函数 fs.writeFileSync() 和 同步添加函数 fs.appendFileSync(),第一次写使用写函数,之后的内容都是进行 append 操作,为了改善阅读体验,每个章节前添加标题

也可以在内容前添加 拍 [TOC],作为导航链接

Markdown 转 PDF

我将小说保存在 Markdown 文件中,为了提升阅读体验,可以将 Markdown 文件转换成 PDF 文件,目前我较为喜欢的两种方式,通过 Chrome 的打印功能 以及 pandoc 转换

Chrome 打印

SublimeText 有个插件 markdown preview ,可通过 Alt + m 快捷键在 Chrome 中预览 Markdown,在 Chrome 页面中右键,选择打印,调整好参数后,选择另存为 PDF,简单,粗暴,深得我心

打印效果:

pandoc 转换pandoc 是十分强大的文件格式转换工具,可以将 Markdown 文件转换成多种格式,今晚在 windows 下折腾了半天,始终检索不到 pdflatex,关于 pandoc,后面会专门写一篇总结。

PDF 已经发给老大了,现在正在看

关于python、node、爬虫

在之前很长的一段时间里,很想用 Python,很想写爬虫,更想用 Python 写爬虫,甚至成为了心里的一块执念,随着接触的知识更全面,执念也逐渐淡去,少了很多“想”,遇事想着多去动手,实践出真知。

标签: nodejs实战教程

本文链接地址:https://www.jiuchutong.com/biancheng/374088.html 转载请保留说明!

上一篇:Nodejs下DNS缓存问题浅析(nodejs ddd)

下一篇:node+experss实现爬取电影天堂爬虫(node网络爬虫)

  • 嵌入式软件产品的增值税即征即退具体实例
  • 个人所得税是什么意思有什么用
  • 含税价和不含税计算公式
  • 增值税相关政策
  • 自来水适用的税率是多少
  • 应收保险公司赔款计入
  • 采购人员的费用
  • 货款不入公司账户属什么行为
  • 房屋出租收入会计分录
  • 生产能量计入固定成本
  • 油费补助记什么科目
  • 养老机构提供的养老服务免增值税吗
  • 银行卡待报解预算收入是什么钱
  • 企业期货投资收益何时记账的
  • 开出技术服务费的账务处理
  • 销售礼盒增值税税率
  • 餐费专票认证了怎么办
  • 个人所得税企事业单位承包经营所得
  • 内含报酬率的计算公式插值法
  • 公转私限额多久自动解冻
  • 按月预缴企业所得税的企业有哪些
  • 企业网银支持互联网专线
  • 增值税及附加税费减免一览表
  • 路由器ip分配数量
  • 小规模纳税人开票额度
  • 加工费计入成本怎么计算所得税
  • 职工教育经费包括餐费吗
  • 如何理解应交税费未交增值税
  • 收回已确认的坏账准备
  • php imagecopymerge
  • 山茶花的养殖方法和注意事项视频
  • js的发展历史
  • html制作动画代码
  • 外贸出口退税操作流程
  • 建筑业如何开票
  • js读取json配置文件
  • 小规模纳税人购进农产品可以抵扣进项税吗
  • mysql的联合查询
  • SQLite中重置自动编号列的方法
  • mysql零基础入门教程完整
  • mongodb备份策略
  • python的np.array
  • BOM学习
  • 公司车辆保险费要交印花税吗
  • 劳动合同和劳务合同可以一起签吗
  • 个人取得劳务报酬个人所得税
  • 交易性金融资产公允价值变动怎么算
  • 自然人独资交企业所得税吗
  • 文化事业建设税是含税还是不含税
  • 什么情况没有排卵期
  • 税前弥补以前年度亏损
  • 非盈利社会团体法人
  • 关联方往来款如何处理
  • 外贸企业的退税可以转出来吗
  • 模具成本核算汇总表
  • 无形资产摊销方法应反映其经济利益的预期实现方式
  • 固定资产计提完折旧报废的账务处理
  • 业务收入和营业收入关系
  • 开票信息指的是买方还是卖方
  • mysql source 慢
  • sql server怎么分离
  • sql语句多行合并成一行
  • ubuntu系统中怎么重启proftpd程序
  • win7系统怎么更改桌面图标大小
  • fsrremos.exe
  • 电脑禁用u盘软件
  • linux下忘记mysql密码的几种找回方法(推荐)
  • 我是一个打酱油的怎样理解
  • cocos creator 碰撞检测
  • unity3d特效教程
  • 命令行输入以下哪个命令可以画出样条曲线
  • javascript in
  • android开源库
  • Zero Clipboard js+swf实现的复制功能使用方法
  • div跟随滚动条移动
  • 对税务领导的批示怎么写
  • 江苏税务个人所得税app下载
  • 党建共建的目的
  • 国税合并地税
  • 税务登记制度是对纳税人识别的完善
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设