位置: 编程技术 - 正文

Python使用Redis实现作业调度系统(超简单)(python的redis)

编辑:rootadmin

推荐整理分享Python使用Redis实现作业调度系统(超简单)(python的redis),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python redis sentinel,redission python,python中redis的用法,python redis操作,python中redis的用法,python redis incr,python中redis的用法,python中redis的用法,内容如对您有帮助,希望把文章链接给更多的朋友!

概述

Redis是一个开源,先进的key-value存储,并用于构建高性能,可扩展的Web应用程序的完美解决方案。

Redis从它的许多竞争继承来的三个主要特点:

Redis数据库完全在内存中,使用磁盘仅用于持久性。

相比许多键值数据存储,Redis拥有一套较为丰富的数据类型。

Redis可以将数据复制到任意数量的从服务器。

Redis 优势

异常快速:Redis的速度非常快,每秒能执行约万集合,每秒约+条记录。

支持丰富的数据类型:Redis支持最大多数开发人员已经知道像列表,集合,有序集合,散列数据类型。这使得它非常容易解决各种各样的问题,因为我们知道哪些问题是可以处理通过它的数据类型更好。

操作都是原子性:所有Redis操作是原子的,这保证了如果两个客户端同时访问的Redis服务器将获得更新后的值。

多功能实用工具:Redis是一个多实用的工具,可以在多个用例如缓存,消息,队列使用(Redis原生支持发布/订阅),任何短暂的数据,应用程序,如Web应用程序会话,网页命中计数等。

步入主题:

Redis作为内存数据库的一个典型代表,已经在很多应用场景中被使用,这里仅就Redis的pub/sub功能来说说怎样通过此功能来实现一个简单的作业调度系统。这里只是想展现一个简单的想法,所以还是有很多需要考虑的东西没有包括在这个例子中,比如错误处理,持久化等。

下面是实现上的想法

MyMaster:集群的master节点程序,负责产生作业,派发作业和获取执行结果。

Python使用Redis实现作业调度系统(超简单)(python的redis)

MySlave:集群的计算节点程序,每个计算节点一个,负责获取作业并运行,并将结果发送会master节点。

channel CHANNEL_DISPATCH:每个slave节点订阅一个channel,比如“CHANNEL_DISPATCH_[idx或机器名]”,master会向此channel中publish被dispatch的作业。

channel CHANNEL_RESULT:用来保存作业结果的channel,master和slave共享此channel,master订阅此channel来获取作业运行结果,每个slave负责将作业执行结果发布到此channel中。

Master代码

说明

MyMaster类 - master主程序,用来启动dispatch和resulthandler的线程

MyServerDispatchThread类 - 派发作业线程,产生作业并派发到计算节点

MyServerResultHandleThread类 - 作业运行结果处理线程,从channel里获取作业结果并显示

Slave代码

说明

MySlave类 - slave节点主程序,用来启动MyJobWorkerThread的线程

MyJobWorkerThread类 - 从channel里获取派发的作业并将运行结果发送回master

测试

首先运行MySlave来定义派发作业channel。

然后运行MyMaster派发作业并显示执行结果。

有关Python使用Redis实现作业调度系统(超简单),小编就给大家介绍这么多,希望对大家有所帮助!

在windows系统中实现python3安装lxml lxml是Python中与XML及HTML相关功能中最丰富和最容易使用的库。lxml并不是Python自带的包,而是为libxml2和libxslt库的一个Python化的绑定。它与众不同的地方是

Eclipse中Python开发环境搭建简单教程 一、背景介绍Eclipse是一款基于Java的可扩展开发平台。其官方下载中包括J2EE方向版本、Java方向版本、C/C++方向版本、移动应用方向版本等诸多版本。除

python各种语言间时间的转化实现代码 一基本知识millisecond毫秒microsecond微秒nanosecond纳秒1秒=毫秒1毫秒=微秒1微秒=纳秒二perlperl中可以使用time或localtime来获得时间,time返回从年1月

标签: python的redis

本文链接地址:https://www.jiuchutong.com/biancheng/384395.html 转载请保留说明!

上一篇:python编写简单爬虫资料汇总(python怎么写爬虫)

下一篇:在windows系统中实现python3安装lxml(在WINDOWS系统中回收站的作用不包括)

  • 合伙企业的费用在何处扣除
  • 财政拨款结余明细科目编码
  • 财务软件续费怎么记账
  • 在建工程明细账采用什么账簿
  • 一笔多少钱
  • 金融服务利息
  • 暂估确定收不到发票会计分录怎么做
  • 应付债券利息调整科目理解
  • 个人投资理财需要注意什么
  • 金税盘维护费抵税会计分录
  • 公司未分配利润太大,怎么处理好
  • 房产税税计入什么科目
  • 税务电子钥匙补办需要多久
  • 房产转让的房产税怎么算
  • 支票付款的弊端
  • 公户转给股东的钱需要交个税吗
  • 参加失业保险本期实际缴费金额包括员工承担部分吗?
  • win7安装驱动程序
  • Win11怎么设置自启动软件
  • 一篇不错的php基础论文
  • dgservice.exe是什么文件
  • Yosemite使用技巧 如何使用Yosemite mac信息功能共享电脑屏幕教程
  • php-mbstring
  • PHP:pg_result_status()的用法_PostgreSQL函数
  • uniapp多端兼容
  • PHP:imagefilledarc()的用法_GD库图像处理函数
  • python自动化selenium
  • faster rcnn详解
  • python如何设置窗口背景色
  • 长期待摊费用装修费摊销年限
  • 退货的会计处理分录
  • 高新技术企业福利费扣除比例
  • 上一年度的费用退回清算表怎么填
  • 电子产品报废清理是否缴纳教育附加税
  • 现金银行本票的签发人是谁
  • 学网新用什么电脑
  • webpack怎么优化
  • mongodb 全文索引
  • 帝国cms8.0版
  • 文化事业建设费税收优惠2023
  • 政府的资本性投入需要交印花税吗
  • 个税 收入
  • 应付账款的入账时间为
  • 当月进项税额大但是也要交增值税吗
  • 年度汇算清缴后补税,账务要调整吗
  • 材料合理损耗计入入账价值吗
  • 股权转让如何进行
  • 收到国库退款
  • 费用误计入固定资产
  • 车保险说给返钱是真的吗
  • 购进货物用于集体福利会计分录
  • 应付账款账户怎么结转
  • 单位租个人房子租房合同
  • 备查账目
  • 如何关闭win10自带杀毒软件
  • xp系统管理员账户
  • ubuntu18.04单网卡多ip
  • wind启动项
  • Windows系统通过注册表实现打开CMD并定位到指定文件夹
  • WIN10系统中软件打开找不到网络共享盘
  • ubuntu20.04软件中心
  • windows8.1的设置在哪
  • windows xp sp3 vl
  • win8怎么外接屏幕
  • linux用什么写c
  • 电脑导航阻止怎么办
  • [置顶]电影名字《收件人不详》
  • unity3ds
  • js中颜色对应代码
  • 备份多个数据库
  • unity3d c++开发
  • jquery怎么判断复选框选中
  • 脸部两旁的骨头
  • linux bash命令详解
  • javascript怎么用
  • 请问在javascript程序中
  • js对象用法
  • 卖废铁分录
  • 2023年企业所得税计算公式表
  • 新疆税务电子
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设