位置: 编程技术 - 正文

Linux Shell多进程并发以及并发数控制(shell多进程并行返回值)

编辑:rootadmin

推荐整理分享Linux Shell多进程并发以及并发数控制(shell多进程并行返回值),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:Linux shell多进程执行和控制并发,linux shell 多线程执行程序,shell多进程并发控制,shell 启动多个进程,shell脚本多进程并发进程数,linux shell脚本启动多个进程,linux shell 进程,Linux shell多进程执行和控制并发,内容如对您有帮助,希望把文章链接给更多的朋友!

本文小编为大家详细的讲解shell多进程并发,在大部分用户眼中,所谓的多进程 只不过是将多个任务放到后台执行而已,一起来看看吧具体的内容吧。

1. 基础知识准备

1.1. linux后台进程

Unix是一个多任务系统,允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后,其后紧跟&字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。 比如:

这三个命令就会被同时送往linux后台执行,在这个程度上,认为这三个命令并发执行了。

1.2. linux文件描述符

文件描述符(缩写fd)在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。每一个unix进程,都会拥有三个标准的文件描述符,来对应三种不同的流:

文件描述符 名称 0 Standard Input 1 Standard Output 2 Standard Error

每一个文件描述符会对应一个打开文件,同时,不同的文件描述符也可以对应同一个打开文件;同一个文件可以被不同的进程打开,也可以被同一个进程多次打开。

在/proc/PID/fd中,列举了进程PID所拥有的文件描述符,例如

上述的例子中第行,将文件描述符1与文件tempfile进行了绑定,此后,文件描述符1指向了tempfile文件,标准输出被重定向到了文件tempfile中。

1.3. linux管道

在Unix或类Unix操作系统中,管道是一个由标准输入输出链接起来的进程集合,因此,每一个进程的输出将直接作为下一个进程的输入,

linux管道包含两种:

匿名管道命名管道

管道有一个特点,如果管道中没有数据,那么取管道数据的操作就会滞留,直到管道内进入数据,然后读出后才会终止这一操作;同理,写入管道的操作如果没有读取管道的操作,这一动作就会滞留。

1.3.1. 匿名管道

在Unix或类Unix操作系统的命令行中,匿名管道使用ASCII中垂直线|作为匿名管道符,匿名管道的两端是两个普通的,匿名的,打开的文件描述符:一个只读端和一个只写端,这就让其它进程无法连接到该匿名管道。

例如:

为了执行上面的指令,Shell创建了两个进程来分别执行cat和less。下图展示了这两个进程是如何使用管道的:

有一点值得注意的是两个进程都连接到了管道上,这样写入进程cat就将其标准输出(文件描述符为fd 1)连接到了管道的写入端,读取进程less就将其标准输入(文件描述符为fd 0)连接到了管道的读入端。实际上,这两个进程并不知道管道的存在,它们只是从标准文件描述符中读取数据和写入数据。shell必须要完成相关的工作。

1.3.2. 命名管道(FIFO,First In First Out)

命名管道也称FIFO,从语义上来讲,FIFO其实与匿名管道类似,但值得注意:

在文件系统中,FIFO拥有名称,并且是以设备特俗文件的形式存在的;任何进程都可以通过FIFO共享数据;除非FIFO两端同时有读与写的进程,否则FIFO的数据流通将会阻塞;匿名管道是由shell自动创建的,存在于内核中;而FIFO则是由程序创建的(比如mkfifo命令),存在于文件系统中;匿名管道是单向的字节流,而FIFO则是双向的字节流;

比如,可以利用FIFO实现单服务器、多客户端的应用程序:

Linux Shell多进程并发以及并发数控制(shell多进程并行返回值)

有了上面的知识准备,现在可以开始讲述,linux多进程并发时,如何控制每次并发的进程数。

2. linux多进程并发数控制

最近小A需要生产年全年的KPI数据报表,现在小A已经将生产脚本写好了,生产脚本一次只能生产指定一天的KPI数据,假设跑一次生产脚本需要5分钟,那么: * 如果是循环顺序执行,那么需要时间:5 * = 分钟,约等于 6 天 * 如果是一次性放到linux后台并发执行,个后台任务,系统可承受不住哦!

既然不能一次性把个任务放到linux后台执行,那么,能不能实现自动地每次将N个任务放到后台并发执行呢?当然是可以的啦。

第6~行:比如:sh loop_kpi_report.sh -- --:

$1表示脚本入参的第一个参数,等于--

$2表示脚本入参的第二个参数,等于--

$#表示脚本入参的个数,等于2

第行用于比较传入的两个日期的大小,>是转义

第行:表示在脚本运行过程中,如果接收到Ctrl+C中断命令,则关闭文件描述符的读写,并正常退出

exec >&-;表示关闭文件描述符的写

exec <&-;表示关闭文件描述符的读

trap是捕获中断命令

第~行:

第行,创建一个管道文件

第行,将文件描述符与FIFO进行绑定,<读的绑定,>写的绑定,<>则标识对文件描述符的所有操作等同于对管道文件$tempfifo的操作

第行,可能会有这样的疑问:为什么不直接使用管道文件呢?事实上这并非多此一举,管道的一个重要特性,就是读写必须同时存在,缺失某一个操作,另一个操作就是滞留,而第行的绑定文件描述符(读、写绑定)正好解决了这个问题

第~行:对文件描述符进行写入操作。通过循环写入8个空行,这个8就是我们要定义的后台并发的线程数。为什么是写空行而不是写其它字符?因为管道文件的读取,是以行为单位的

第~行:

第行,read -u的作用就是读取管道中的一行,在这里就是读取一个空行;每次读取管道就会减少一个空行

第~行,注意到第行结尾的&吗?它表示进程放到linux后台中执行

第行,执行完后台任务之后,往文件描述符中写入一个空行。这是关键所在了,由于read -u每次操作,都会导致管道减少一个空行,当linux后台放入了8个任务之后,由于文件描述符没有可读取的空行,将导致read -u一直处于等待。

Linux CentOS上编译并安装Clang教程 如何在LinuxCentOS上编译并安装Clang?下面小编为大家具体的介绍一下,解决你在安装Clang遇到的一系列问题。一、Minimal版CentOS安装Clang前的环境准备1,安

centos怎么将图形界面切换到命令行? Linux系统中,X-Window图形操作界面可以和Console字符操作界面相互切换。1、如果在图形界面下,按:Ctrl+Alt+F2,可以进入命令行模式;2、如果在命令行模

CentOS下检测硬盘上的坏道和坏块 让我们从坏道和坏块的定义开始说起,它们是一块磁盘或闪存上不再能够被读写的部分,一般是由于磁盘表面特定的物理损坏或闪存晶体管失效导致的

标签: shell多进程并行返回值

本文链接地址:https://www.jiuchutong.com/biancheng/353603.html 转载请保留说明!

上一篇:u盘安装centos 7图文教程(u盘安装centos7安装详细图解)

下一篇:Linux CentOS上编译并安装Clang教程(linux编译步骤)

  • 浅析SQL Server的分页方式 ISNULL与COALESCE性能比较(sql server干嘛的)

    我们看到上述COALESCE合并的结果是可空的而ISNULL不是,有一点点不同。

    (3)COALESCE对列计算时需要持久化

    接下来我们看看二者最大的不同,我们通过计算列并且在其上面创建主键或者非空约束,看看ISNULL和COALESCE的区别

    我们再来看看COALESCE函数来计算列

    很明显我们需要对列进行持久化,通过添加PERSISTED关键字,如下即可。

    我们再来看看一个二者的不同

    我们到这里其实我们可以稍微概括下二者的区别:ISNULL着重于替换,而COALESCE着重于合并。COALESCE显示忽略了NULL并用空字符串填充并压缩,而ISNULL对NULL会用空字符串填充但不会压缩。

    (4)COALESCE函数支持超过两个参数

    对于多个参数输入,ISNULL函数需要嵌套调用,而COALESCE能够处理任何数量,至于上限不知,所以对于多个参数使用COALESCE更加,如下使用多个参数输入。

    SELECT COALESCE(a, b, c, d, e, f, g) FROM dbo.table;

    而对于ISNULL,我们需要这样做

    SELECT ISNULL(a, ISNULL(b, ISNULL(c, ISNULL(d, ISNULL(e, ISNULL(f, g)))))) FROM dbo.table;

    二者最终执行时和利用CASE一样

    (5)COALESCE和ISNULL二者性能比较

    我们来运行如下查询

    我们有查询四个场景:(1)两个参数都为NULL(2)第一个参数为NULL(3)第二个参数为NULL(4)两个参数都为NULL。每个场景测试十次,最终得出如下结果

    从上看出二者性能并未有什么太大差异,我们不需要太担心了吧,当然上述场景并未完全覆盖,至少还是能说明一部分。上述我们得到的结果查看的执行时间,现在我们再来看看二者查询执行计划。

    上述可能不太准确,还和硬件配置有关,也有可能COALESCE的性能差与ISNULL。二者性能应该是没什么很大差异。

    (6)ISNULL和自然语言描述不一致

    为何是和自然语言描述不一致呢?也就是说我们当判断某个值为NULL会做什么,不为NULL再做什么,这时用查询语言SQL描述如下:

    我们用自然语言角度来看,翻译为如果something为NULL我们做什么,这个时候是不一致的。因为在SQL Server中没有布尔值类型,上述我们只能进行如下转换

    (7)利用GUID看看奇葩的ISNULL

    在本节介绍之前我们再来看看一个例子,从而颠覆你的想法,让你发狂。

    SELECT ISNULL(NEWID(), 'JeffckyWang" class="img-responsive" alt="浅析SQL Server的分页方式 ISNULL与COALESCE性能比较(sql server干嘛的)">

    浅析SQL Server的分页方式 ISNULL与COALESCE性能比较(sql server干嘛的)

  • Windows7系统创建无线网络连接的方法(图文教程)(win7如何创建文件夹)

    Windows7系统创建无线网络连接的方法(图文教程)(win7如何创建文件夹)

  • Linux系统中ls命令的常见用法整理(linux ls命令什么意思)

    Linux系统中ls命令的常见用法整理(linux ls命令什么意思)

  • React Native 搭建开发环境的方法步骤(创建react native项目)

    React Native 搭建开发环境的方法步骤(创建react native项目)

  • 农业企业免哪些税款
  • 弃置费用的现值p/f
  • 煤矿企业维简费税务规定
  • 死账呆账的处理程序
  • 制造费用包括哪三类
  • 建筑业购进苗木进项抵税计算公式是什么
  • 代收代付给个人
  • 按折现率计算现值
  • 兼职取酬案例剖析
  • 详解出口退税的涵义
  • 技术转让开具什么发票
  • 小规模纳税人购车好处
  • 政府补助的会计核算
  • 金融企业贷款损失准备金
  • 餐饮研发费用确认条件
  • 供应商是收款人还是付款人
  • 私募股权投资基金管理办法最新
  • 工会账户销户
  • 商事账簿编制的一般规则是什么
  • 管理费用怎么结转分录
  • 个人股权转让如何申报个人所得税
  • win11 zen2
  • linux桌面设置界面在哪
  • 员工冲借款应该怎么做账
  • win7系统笔记本无线网络找不到
  • 修改配置文件是什么意思
  • 车辆购买保险发票未回怎么做会计分录
  • PHP:mcrypt_list_algorithms()的用法_Mcrypt函数
  • flex布局适用于哪些场景
  • 结转已销售产品的实际生产成本会计分录
  • 应收账款应付账款属于什么科目
  • 利息收入如何会计分录
  • 自学黑客技术入门教程
  • 收到招标文件怎么回函
  • 微信认证费是什么意思
  • 固定资产清理怎么入账
  • 收到商业承兑汇票怎么兑现
  • 与取得收入无关的费用支出可以扣除吗
  • 发票的普票和专票什么区别
  • 交给工会的40%的工会经费里还要再返60%吗
  • 预收账款收了没
  • 销售不动产差额征税可以开专票吗
  • mysql四种常见日志
  • 增值税主表和附表
  • 固定资产折旧指标有哪些
  • 投资者向企业投入资本的形式
  • 计提借款利息怎么算
  • 当月支付当月租金需要计提吗
  • 长期待摊费用是当月摊销还是次月摊销
  • 应收利息和利息收入的差额
  • 建筑业确认收入的条件
  • 专票多少钱
  • 工资的税额
  • 怎样把有余额的钱取出来
  • mysqldump -h
  • mysql怎么删除一定数量的记录
  • innodb 结构
  • winxp关闭自动更新方法
  • 简述linux几种主流发行版本及其特点
  • win7桌面提示7601
  • win ubuntu
  • macos high sierra深色模式
  • mac系统如何隐藏文件
  • win10一年更新一次
  • win10麦克风无法说话
  • opengl
  • 日历控件默认日期
  • a10 config backup for aXAPI
  • forfiles命令详解
  • 删除cmd命令记录
  • shell脚本的实现
  • python如何用
  • js中splice方法
  • 企业所得税到底是卖方承担还是买方承担
  • 社保归国税还是地税
  • 汽车修理厂24小时修理
  • 天津海泰南路属于哪个区
  • 专家费缴税标准
  • 广东省地税总局领导班子
  • 资源税的征税对象和纳税环节
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设