位置: 编程技术 - 正文

浅谈Node.js:理解stream(node.js底层原理)

编辑:rootadmin

推荐整理分享浅谈Node.js:理解stream(node.js底层原理),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:node.js工作原理,node.js gui,node.js理解,node.js工作原理,node js 原理,nodejs原理和特点,node.js理解,node.js理解,内容如对您有帮助,希望把文章链接给更多的朋友!

Stream在node.js中是一个抽象的接口,基于EventEmitter,也是一种Buffer的高级封装,用来处理流数据。流模块便是提供各种API让我们可以很简单的使用Stream。

流分为四种类型,如下所示:

Readable,可读流 Writable,可写流 Duplex,读写流 Transform,扩展的Duplex,可修改写入的数据

1、Readable可读流

通过stream.Readable可创建一个可读流,它有两种模式:暂停和流动。

在流动模式下,将自动从下游系统读取数据并使用data事件输出;暂停模式下,必须显示调用stream.read()方法读取数据,并触发data事件。

所有的可读流最开始都是暂停模式,可以通过以下方法切换到流动模式:

监听'data'事件 调用stream.resume()方法 调用stream.pipe()方法将数据输出到一个可写流Writable

同样地,也可以切换到暂停模式,有两种方法:

如果没有设置pipe目标,调用stream.pause()方法即可。 如果设置了pipe目标,则需要移除所有的data监听和调用stream.unpipe()方法

在Readable对象中有一个_readableSate的对象,通过该对象可以得知流当前处于什么模式,如下所示:

readable._readableState.flowing = null,没有数据消费者,流不产生数据 readable._readableState.flowing = true,处于流动模式 readable._readableState.flowing = false,处于暂停模式

为什么使用流取数据

对于小文件,使用fs.readFile()方法读取数据更方便,但需要读取大文件的时候,比如几G大小的文件,使用该方法将消耗大量的内存,甚至使程序崩溃。这种情况下,使用流来处理是更合适的,采用分段读取,便不会造成内存的'爆仓'问题。

data事件

在stream提供数据块给消费者时触发,有可能是切换到流动模式的时候,也有可能是调用readable.read()方法且有有效数据块的时候,使用如下所示:

readable事件

当流中有可用数据能被读取时触发,分为两种,新的可用的数据和到达流的末尾,前者stream.read()方法返回可用数据,后者返回null,如下所示:

pause和resume方法

stream.pause()方法让流进入暂停模式,并停止'data'事件触发,stream.resume()方法使流进入流动模式,并恢复'data'事件触发,也可以用来消费所有数据,如下所示:

pipe(destination[, options])方法

pipe()方法绑定一个可写流到可读流上,并自动切换到流动模式,将所有数据输出到可写流,以及做好了数据流的管理,不会发生数据丢失的问题,使用如下所示:

以上介绍了多种可读流的数据消费的方法,但对于一个可读流,最好只选择其中的一种,推荐使用pipe()方法。

2、Writable可写流

所有的可写流都是基于stream.Writable类创建的,创建之后便可将数据写入该流中。

write(chunk[, encoding][, callback])方法

write()方法向可写流中写入数据,参数含义:

chunk,字符串或buffer encoding,若chunk为字符串,则是chunk的编码 callback,当前chunk数据写入磁盘时的回调函数

该方法的返回值为布尔值,如果为false,则表示需要写入的数据块被缓存并且此时缓存的大小超出highWaterMark阀值,否则为true。

使用如下所示:

浅谈Node.js:理解stream(node.js底层原理)

背压机制

如果可写流的写入速度跟不上可读流的读取速度,write方法添加的数据将被缓存,逐渐增多,导致占用大量内存。我们希望的是消耗一个数据,再去读取一个数据,这样内存就维持在一个水平上。如何做到这一点?可以利用write方法的返回值来判断可写流的缓存状态和'drain'事件,及时切换可读流的模式,如下所示:

drain事件

如果Writable.write()方法返回false,则drain事件将会被触发,上面的背压机制已经使用了该事件。

finish事件

在调用stream.end()方法之后且所有缓存区的数据都被写入到下游系统,就会触发该事件,如下所示:

end([chunk][, encoding][, callback])方法

end()方法被调用之后,便不能再调用stream.write()方法写入数据,负责将抛出错误。

3、Duplex读写流

Duplex流同时实现了Readable与Writable类的接口,既是可读流,也是可写流。例如'zlib streams'、'crypto streams'、'TCP sockets'等都是Duplex流。

4、Transform流

Duplex流的扩展,区别在于,Transform流自动将写入端的数据变换后添加到可读端。例如:'zlib streams'、'crypto streams'等都是Transform流。

5、四种流的实现

stream模块提供的API可以让我们很简单的实现流,该模块使用require('stream')引用,我们只要继承四种流中的一个基类(stream.Writable, stream.Readable, stream.Duplex, or stream.Transform),然后实现它的接口就可以了,需要实现的接口如下所示:

| Use-case | Class | Method(s) to implement | | ------------- |-------------| -----| | Reading only | Readable | _read | | Writing only | Writable | _write, _writev | | Reading and writing | Duplex | _read, _write, _writev | | Operate on written data, then read the result | Transform | _transform, _flush |

Readable流实现

如上所示,我们只要继承Readable类并实现_read接口即可,,如下所示:

以上代码使用了四种方法创建一个Readable可读流,必须实现_read()方法,以及用到了readable.push()方法,该方法的作用是将指定的数据添加到读取队列。

Writable流实现

我们只要继承Writable类并实现_write或_writev接口,如下所示(只使用两种方法):

Duplex流实现

实现Duplex流,需要继承Duplex类,并实现_read和_write接口,如下所示:

上面的代码实现了_read()方法,可作为可读流来使用,同时实现了_write()方法,又可作为可写流来使用。

Transform流实现

实现Transform流,需要继承Transform类,并实现_transform接口,如下所示:

上面代码中的_transform()方法,其第一个参数,要么为error,要么为null,第二个参数将被自动转发给readable.push()方法,因此该方法也可以使用如下写法:

Object Mode流实现

我们知道流中的数据默认都是Buffer类型,可读流的数据进入流中便被转换成buffer,然后被消耗,可写流写入数据时,底层调用也将其转化为buffer。但将构造函数的objectMode选择设置为true,便可产生原样的数据,如下所示:

下面利用Transform流实现一个简单的CSS压缩工具,如下所示:

标签: node.js底层原理

本文链接地址:https://www.jiuchutong.com/biancheng/374106.html 转载请保留说明!

上一篇:浅谈Node.js:Buffer模块(浅谈特殊儿童的融合教育论文)

下一篇:浅谈Node.js:fs文件系统模块(node.js中fs模块)

  • 卷烟消费税是怎么算
  • 金银首饰以旧换新增值税
  • 契税和房产税的减免政策
  • 企业财务发工资流程
  • 私对公转账可以撤回吗
  • 销售货物分期付款怎么确认收入
  • 航空货运单可以由谁来填写
  • 红字发票冲销的销项税怎么处理
  • 收到费用发票入账后发现错误
  • 润滑油消费税征税环节
  • 公司拍摄产品的文案
  • 转售水的税率
  • 增值税欠缴税会不会影响企业的信用
  • 收到采购款
  • 金税盘和税控盘哪个好
  • 展览费怎么开票
  • 挂靠行为应当如何纳税?
  • 国税申报纳税调整项目怎么填的?
  • 电费的税费计入什么会计科目
  • 电子汇票贴现怎样操作
  • 往来形式的投资款是借款吗
  • 签订旅游合同的意义
  • 购买固定资产算投资吗
  • 房地产预缴所得税的计税基础
  • 本月印花税下月缴纳需要计提吗
  • 鸿蒙系统进入工程菜单
  • mac设置在哪里设置
  • PHP:pg_escape_bytea()的用法_PostgreSQL函数
  • 收外汇的账务处理实例
  • 如何开增值税专用发票步骤图解
  • vue3如何实现使用SortableJs插件进行表格内的数据项拖拽排序
  • wamp怎么运行php文件
  • 详解Yii2高级版引入bootstrap.js的一个办法
  • 联邦学习(FL)+差分隐私(DP)
  • 安装elementUI
  • 固定资产盘盈为什么计入以前年度损益调整
  • 小微企业免征增值税报表填写
  • 拆迁补偿账务处理办法
  • 织梦cms可以商用吗
  • phpcms怎么用
  • phpcms缩略图不要自动裁剪的设置方法
  • Qt Port of WebKit ¶
  • mongodb建立索引的命令
  • 劳务费个税申报流程
  • 党建工作经费使用流程
  • 开票信息修改
  • c#构造函数
  • 个人取得劳务报酬个人所得税
  • 税务师考试的报名时间
  • 无偿调入资产如何做账
  • win10!
  • 单位收风险金是什么意思
  • 认缴 实收资本
  • 商贸公司用什么软件好
  • 查缴个人海外避税所得税
  • 净资产越来越少会有什么风险
  • 未取得发票该怎么说明
  • 公司与公司之间人与人之间最大的区别
  • 坏账准备计提的方法和比例
  • 如何理解事业单位处罚暂行条例中第十八条的兼职规定
  • 小型微利企业年报填什么表
  • 应付票据和应付债券的区别
  • 删除一组数据中的指定数据
  • windows 10预览版
  • 如何在macbook中设置软件权限
  • mac如何安装dmg软件
  • 搜集数据软件
  • win10使用入门教程
  • win10的hyper-v在哪
  • win7 64位旗舰版系统联网时提示0x80070002的解决方法
  • 微软官方确认:Xbox不会出现在E3 2023实体展
  • javascript数组的方法
  • node.js的概念
  • Android闹钟服务
  • 性能优化实验
  • jquery jwt
  • python dict 转 list
  • 国家税务总局财政部公告2023年第11号
  • 施工费税费
  • 黔南州都匀市是哪个省
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设