位置: 编程技术 - 正文

linux下零拷贝技术介绍(linux 零拷贝技术)

编辑:rootadmin

推荐整理分享linux下零拷贝技术介绍(linux 零拷贝技术),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:linux零拷贝实现,linux操作系统拷贝命令,拷贝 linux,linux 零拷贝技术,linux zero copy,linux中的拷贝命令,linux操作系统拷贝命令,linux中的拷贝命令,内容如对您有帮助,希望把文章链接给更多的朋友!

传统的数据传输方式

很长一段时间内,数据拷贝的认识仅仅停留在应用程序层,实际上隐藏在背后的数据拷贝行为比想象的要多的多。在传输数据的时候,用户应用程序需要分配一块合适大小的缓冲区来存放需要传输的数据。用户从应用程序中读取数据,然后发送出去,只需要两个系统调用read,write即可完成数据传输工作,应用程序并不知道这个数据传输过程中操作系统进行了多少次拷贝操作。某些情况下,这些数据拷贝操作会极大的降低数据传输的性能。(NIC,Network Interface Card )

传统的数据拷贝方式,如下图:上线文切换,如图:

涉及的步骤:

(1)read()调用引发从用户模式到内核模式的上下文切换(第一次切换),在内部,发出sys_read(或者同等内容)从设备中读取数据,直接内存读取(direct memory access,DMA)执行了拷贝(第一次拷贝),它从磁盘中读取内容,然后将他们存储到一个内核地址空间缓冲区中;

(2)数据从读缓冲区拷贝到用户缓冲区(第二次拷贝),read()调用返回。该调用返回引发内核模式到用户模式的切换(第二次切换)。现在数据被存储在用户空间缓冲区中;

(3) send()套接字调用引发用户模式到内核模式的上下文切换(第三次切换),数据再次被放置到内核地址空间缓冲区中(第三次拷贝)。这次放置的缓冲区与目标套接字关联;

(4) send()系统调用返回,从内核模式切换到用户模式(第四次切换),DMA引擎将数据从内核缓冲区传输到协议引擎(第四次拷贝)。

DMA允许外围设备和贮存之间直接传输IO数据,DMA依赖于系统。每一种体系结构DMA传输不同,编程接口也不同。数据传输可以以两种方式触发:一种所软件请求数据,另一种所硬件异步传输。以read为例,它即采用第一种方式,其步骤如下:

(1) 进程调用read时,驱动程序分配一个DMA缓冲区,随后指示硬件传送它的数据,进程进入睡眠;

(2) 硬件将数据写入DMA缓冲区并在完成时产生一个中断;

(3) 中断处理程序获取输入数据,应答中断,最后唤醒进程,可以读取数据了。

由此可见,在传统的数据传输中,系统方面总共进行了4次数据拷贝,4次上线文切换,这些都会对服务器性能造成很大影响。

零拷贝概述

简单的说,零拷贝是一种避免CPU将数据从一快存储拷贝到另外一块存储的技术。零拷贝技术的目标:

避免数据拷贝

#避免操作系统内核缓冲区之间进行数据拷贝操作;

#避免操作系统内核和用户应用程序地址空间之间进行数据拷贝操作;

#用户应用程序可以避免操作系统直接访问硬件存储;

#数据传输尽量让DMA来处理。

linux下零拷贝技术介绍(linux 零拷贝技术)

多种操作结合在一起

#避免不必要的系统调用和上下文切换;

#需要拷贝的数据可以先缓存起来;

#对数据进行的处理尽量让硬件来做。

零拷贝的实现方式分类

直接IO

主要是通过减少操作系统内核缓冲区和应用程序地址空间数据拷贝次数,降低对文件读取和写入时带来的CPU使用和带宽的开销。对于某些页数的应用程序,比如说自缓冲应用程序来说,会是一个比较好的选择。如果要传输的数据量大,使用直接IO的方式进行数据传输,而不需要操作系统内核地址空间拷贝数据的参与,这将会提高性能。

直接IO并不是所有的情况下都有效。设置直接IO的开销非常大,而且不能利用缓存IO的优势。直接IO的读操作会造成磁盘的同步读,执行进程需要在很长的时间才能执行完;而写操作会导致应用程序关闭缓慢。应用程序使用直接IO进行数据传输通常和异步IO结合使用。

linux内核已经为快设备执行直接IO提供了支持,应用程序直接访问文件而不经过操作系统页高速缓冲存储器的时候,打开文件(open() syscall)指定O_DIRECT标示符。

总之,这种数据传输方式,应用程序直接访问硬件存储,操作系统内核只是辅助数据传输;它一般用于操作系统不需要对数据进行处理的情况,数据可以再应用程序地址空间的缓冲区和磁盘之间进行传输,而不需要linux操作系统内核提供页缓存支持。

针对数据传输不需要经过应用程序地址空间的零拷贝技术

数据传输过程中,避免数据在系统内核地址空间的缓冲区和用户应用程序地址空间的缓冲区进行拷贝。有时候,应用程序在数据传输的过程中不需要对数据进行访问,将数据从linux的页缓存拷贝到用户进程的缓冲区就可以完全避免,传输的数据在页缓冲中就可以处理。在某些情况下,这种零拷贝技术能获得很好的性能。linux下提供类似的系统调用主要有mmap(),sendfile(),splice().

使用mmap替代read,可以减少CPU拷贝次数。当应用程序调用mmap()之后,数据通过DMA拷贝拷贝到内核缓冲区,应用程序和操作系统共享这个缓冲区。这样,操作系统内核和应用程序存储空间不再需要进行任何的数据拷贝操作。当进行write()系统调用时,数据由内核缓冲区拷贝到socket缓冲区,再拷贝到协议引擎中。

这种也比较适用于传送的数据不需要经过操作系统内核的处理或者不需要经过程序的处理直接传输的情况。结合socket也能使用mmap,不过只能在RAW的情况下使用。对于传统的C/S网络游戏结构来说,使用的意义不大。

对应用程序地址空间和内核空间的数据传输进行优化的零拷贝技术

对数据在linux页缓存和用户进程缓冲区之间的传输进行优化。该零拷贝技术侧重于灵活的处理数据在用户进程中的缓冲区和操作系统的页缓冲区之间的拷贝操作。这种方式延续了传统的通信方式,但是更加灵活。linux中该方法主要利用写时复制技术。

写时复制是计算机编程中常见的一种优化策略,基本思想是这样的:如果多个应用程序需要同时访问一块数据,那么可以为这些应用程序分配指向这块数据的指针,在每个应用程序看来,他们都拥有这块数据的一份拷贝,当其中一个应用程序需要对自己的这份数据进行修改时,就需要将数据真正的拷贝到应用程序的地址空间去。如果应用程序永远不会对这块数据进行修改,那么就永远不需要将数据拷贝到应用程序的地址空间去。在stl中string的实现类似这种策略。

参考:

linux 中的零拷贝技术 第1部分

中的零拷贝技术 第2部分

Linux下Android开发环境搭建详细步骤 1、系统环境[android@localhost~]$uname-aLinuxlocalhost.localdomain2.6.-.el6.i#1SMPWedSep::EDTiiiGNU/Linux[android@localhost~]$lsb_release-aLSBVersion::core-4.0-ia:core

Linux操作系统下设置基本网络参数四种方法 一、引言在RedHatLinux6.0系统中,自带有Netscape浏览器,让Linux通过以太网卡访问Internet时,必须对Linux系统进行相应的配置,诸如主机、域名、网关、路由

Linux防火墙伪装机制帮您抵抗恶意黑客 防火墙可分为几种不同的安全等级。在Linux中,由于有许多不同的防火墙软件可供选择,安全性可低可高,最复杂的软件可提供几乎无法渗透的保护能力

标签: linux 零拷贝技术

本文链接地址:https://www.jiuchutong.com/biancheng/360640.html 转载请保留说明!

上一篇:linux中bin与sbin目录的作用及区别介绍(linux bin和sbin)

下一篇:Linux下Android开发环境搭建详细步骤(android linux deploy)

  • 关税的完税价格是什么意思
  • 一税两费可以从费用中扣除吗
  • 所得税多交怎么调整
  • 公司把钱借给个人
  • 企业进项发票不够销项开的多
  • 完税证明必须本人办理吗
  • 非货币性资产交换固定资产清理
  • 施工企业结算金额怎么算
  • 工企业用地土地使用税怎么征收?
  • 黄金以旧换新工费多少钱一克
  • 个体工商户怎么注册
  • 企业为职工支付的家庭财产保险
  • 承包合同范围怎么写
  • 补贴属于什么手段
  • 企业所得税退税会计分录
  • 汽车运输增值税专用发票多少税点
  • 收入与成本不匹配建议怎么写
  • 每月结转本年利润会计分录
  • 计提坏账准备的会计分录
  • 倒发票怎么倒出钱来
  • 公司变更名称重新申请
  • 双系统怎么卸载ubuntu
  • Win10系统cpu性能如何调高 Win10把cpu性能调到极佳的方法
  • 联想lenovo ideapad 320-15AST
  • 企业买金税盘做什么科目
  • 财务软件税率
  • php日期时间运算汇总
  • kernl32.dll
  • 用php写个简单的编程
  • 汽车因质量原因泡水能退车吗
  • 琼斯的大海怪
  • 计提资产减值准备是利好还是利空
  • jquery 滚动条
  • 政府会计主体资产有哪些
  • 小企业会计准则和一般企业会计准则的区别
  • php ioc
  • 转让固定资产使用权是出租吗
  • 令人感到惊艳
  • 利润表的本月数怎么算
  • 企业接受的非货币性投资按照 计入实收资本
  • 生育保险断缴后果
  • 回扣,折扣和佣金都具有违法性对吗
  • windows安装步骤总结
  • 代扣代缴个人所得税分录
  • 外币汇兑损益怎么计算
  • 本期发生的下列业务中,根据权责发生制原则
  • 月收入一万该怎么说
  • 个人所得税应纳税额
  • 投资性房地产出售收入属于什么收入
  • 金融企业应当按照交易或事项的实质和经济现实
  • 运费增值税发票抵扣
  • 企业做税务局迁移应该做哪些事情
  • 以前年度费用怎么记账
  • 企业受赠资产会计处理
  • 单位要处置一辆车怎么办
  • 只有进项发票没有销售发票这种怎么做账
  • 财务费用在贷方,怎么结转到本年利润?
  • 兼职人员属于雇佣人吗
  • 本年利润是负数的会计分录
  • 暂估的进项税额怎么抵扣
  • 成本核算应设置哪些会计账户
  • mysql(master/slave)主从复制原理及配置图文详解
  • mysql join查询慢
  • Windows 2008 R2 AD组策略-统一域用户桌面背景详细图文教程
  • macbookair怎么开启
  • freebsd ports安装
  • win7旗舰版系统还原无法启动
  • linux常用命令chown
  • WeatherEye.exe - WeatherEye 是什么进程
  • 如何查看电脑的ip地址和端口号
  • unity3D游戏开发
  • node.js创建服务
  • nodejs爬虫 与python爬虫
  • JavaScript中setUTCMilliseconds()方法的使用详解
  • jquery动态生成页面
  • python字符串拼接join
  • js 原型继承的几种方法
  • 纳税工会经费申请怎么写
  • 深圳龙岗有几个街道
  • 外汇管理数字外管平台怎么登录
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设