位置: 编程技术 - 正文

Python使用Redis实现作业调度系统(超简单)(python的redis)

编辑:rootadmin

推荐整理分享Python使用Redis实现作业调度系统(超简单)(python的redis),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python redis sentinel,redission python,python中redis的用法,python redis操作,python中redis的用法,python redis incr,python中redis的用法,python中redis的用法,内容如对您有帮助,希望把文章链接给更多的朋友!

概述

Redis是一个开源,先进的key-value存储,并用于构建高性能,可扩展的Web应用程序的完美解决方案。

Redis从它的许多竞争继承来的三个主要特点:

Redis数据库完全在内存中,使用磁盘仅用于持久性。

相比许多键值数据存储,Redis拥有一套较为丰富的数据类型。

Redis可以将数据复制到任意数量的从服务器。

Redis 优势

异常快速:Redis的速度非常快,每秒能执行约万集合,每秒约+条记录。

支持丰富的数据类型:Redis支持最大多数开发人员已经知道像列表,集合,有序集合,散列数据类型。这使得它非常容易解决各种各样的问题,因为我们知道哪些问题是可以处理通过它的数据类型更好。

操作都是原子性:所有Redis操作是原子的,这保证了如果两个客户端同时访问的Redis服务器将获得更新后的值。

多功能实用工具:Redis是一个多实用的工具,可以在多个用例如缓存,消息,队列使用(Redis原生支持发布/订阅),任何短暂的数据,应用程序,如Web应用程序会话,网页命中计数等。

步入主题:

Redis作为内存数据库的一个典型代表,已经在很多应用场景中被使用,这里仅就Redis的pub/sub功能来说说怎样通过此功能来实现一个简单的作业调度系统。这里只是想展现一个简单的想法,所以还是有很多需要考虑的东西没有包括在这个例子中,比如错误处理,持久化等。

下面是实现上的想法

MyMaster:集群的master节点程序,负责产生作业,派发作业和获取执行结果。

Python使用Redis实现作业调度系统(超简单)(python的redis)

MySlave:集群的计算节点程序,每个计算节点一个,负责获取作业并运行,并将结果发送会master节点。

channel CHANNEL_DISPATCH:每个slave节点订阅一个channel,比如“CHANNEL_DISPATCH_[idx或机器名]”,master会向此channel中publish被dispatch的作业。

channel CHANNEL_RESULT:用来保存作业结果的channel,master和slave共享此channel,master订阅此channel来获取作业运行结果,每个slave负责将作业执行结果发布到此channel中。

Master代码

说明

MyMaster类 - master主程序,用来启动dispatch和resulthandler的线程

MyServerDispatchThread类 - 派发作业线程,产生作业并派发到计算节点

MyServerResultHandleThread类 - 作业运行结果处理线程,从channel里获取作业结果并显示

Slave代码

说明

MySlave类 - slave节点主程序,用来启动MyJobWorkerThread的线程

MyJobWorkerThread类 - 从channel里获取派发的作业并将运行结果发送回master

测试

首先运行MySlave来定义派发作业channel。

然后运行MyMaster派发作业并显示执行结果。

有关Python使用Redis实现作业调度系统(超简单),小编就给大家介绍这么多,希望对大家有所帮助!

在windows系统中实现python3安装lxml lxml是Python中与XML及HTML相关功能中最丰富和最容易使用的库。lxml并不是Python自带的包,而是为libxml2和libxslt库的一个Python化的绑定。它与众不同的地方是

Eclipse中Python开发环境搭建简单教程 一、背景介绍Eclipse是一款基于Java的可扩展开发平台。其官方下载中包括J2EE方向版本、Java方向版本、C/C++方向版本、移动应用方向版本等诸多版本。除

python各种语言间时间的转化实现代码 一基本知识millisecond毫秒microsecond微秒nanosecond纳秒1秒=毫秒1毫秒=微秒1微秒=纳秒二perlperl中可以使用time或localtime来获得时间,time返回从年1月

标签: python的redis

本文链接地址:https://www.jiuchutong.com/biancheng/384395.html 转载请保留说明!

上一篇:python编写简单爬虫资料汇总(python怎么写爬虫)

下一篇:在windows系统中实现python3安装lxml(在WINDOWS系统中回收站的作用不包括)

  • 减免税额和免税额一样吗
  • 税务机关的义务是依法征管
  • 一般纳税人的税点
  • 代付的费用收不收手续费
  • 研发支出指的是什么
  • 小规模纳税人企业所得税怎么计算
  • 未分配利润分配顺序
  • 员工工资计入管理费用吗
  • 资产整体转让税收
  • 怎么处理善意取得的大头小尾发票?
  • 金税盘年费全额抵扣分录
  • 延迟交款收息做什么科目?
  • 可供出售债权投资
  • 委托加工农产品的扣除率
  • 无形资产换出
  • 欠税已经缴纳会影响征信吗
  • 单独计价入账的土地是固定资产吗
  • 竹笋属于什么税目类别
  • 现代服务业个数有多少
  • 对方开的销项负数抵扣联怎么处理
  • bios升级失败后如何恢复
  • 支付安装设备所有费用
  • json去除某个字段
  • Win10 Build21376内测版发布 重新设计默认用户界面字体
  • php require的用法
  • php数组函数题目
  • 给予减免
  • php调用方法
  • 自费出版的书籍可以售卖吗
  • 分公司能不能独立法人
  • 毛地黄长什么样
  • 工资储备金制度
  • php 单例模式优点及如何实现
  • 转让股权后公司资产
  • php中的pdo
  • 三万个字多久写完
  • 收回前欠货款存入银行的会计分录
  • 基于MATLAB的车牌识别
  • dns域名解析两种方式
  • 微信公众号的推送
  • 往来款的意思
  • PHP魔术方法的作用
  • 预缴了增值税在申报增值税时申报
  • 递延收益分摊是当月还是次月
  • 冲个人借款分录怎么写
  • 减免的税金怎样做会计分录
  • 员工工资占公司收入
  • 本月增值税申报截止日
  • 房地产开发企业资质管理规定
  • sqlserver数据库事物日志已满
  • mysql中具体到删某一个数据
  • win2000系统
  • Ubuntu安装ssh
  • linux中man的用法
  • wlms.exe是什么
  • ubuntu20.04怎么用
  • 基于centos6安装kvm服务
  • win7系统启动不起来什么原因
  • linux检查更新
  • win10注销是干嘛的
  • Win7怎么开启存储感知
  • ssh encountered 1 errors during the transfer错误3种解决方法
  • jquery简单网页
  • main报错
  • python jieba用法
  • js 图片加载
  • linux编译链接命令
  • python内置函数用来返回列表,元组,字典
  • 怎么在html中调用js的函数
  • 判断文件是否存在 java
  • 折中查找偶数怎么办
  • android.view.window.addflags
  • 用python定义一个函数
  • js的scrolltop
  • script标签可以放在html哪个位置
  • 使用struts2+Ajax+jquery验证用户名是否已被注册
  • jquery设计模式
  • 税务局巡察反馈问题清单
  • 开展税务培训
  • 保险发票不包含哪些
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设