位置: 编程技术 - 正文
推荐整理分享Python环境下安装使用异步任务队列包Celery的基础教程(如何安装python环境安装包),希望有所帮助,仅作参考,欢迎阅读内容。
文章相关热门搜索词:python3安装环境,python环境下安装opengl,如何安装python环境安装包,安装 python 环境,python环境安装激活码,python环境下安装selenium,python环境下安装外来包的命令,python环境下安装opengl,内容如对您有帮助,希望把文章链接给更多的朋友!
1.简介
celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度支持也很好。celery用于生产系统每天处理数以百万计的任务。celery是用Python编写的,但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。建议的消息代理RabbitMQ的,但提供有限支持Redis, Beanstalk, MongoDB, CouchDB, ,和数据库(使用SQLAlchemy的或Django的 ORM) 。celery是易于集成Django, Pylons and Flask,使用 django-celery, celery-pylons and Flask-Celery 附加包即可。
2. 安装有了上面的概念,需要安装这么几个东西:RabbitMQ、SQLAlchemy、Celery安装方式也都很简单: RabbitMQ:mac下:
linux:
剩下两个都是Python的东西了,直接pip安装就好了,对于从来没有安装过MySQL驱动的同学可能需要安装MySQL-python。安装完成之后,启动服务:
启动后不要关闭窗口, 下面操作新建窗口(Tab)
3. 简单案例确保你之前的RabbitMQ已经启动。还是官网的那个例子,在任意目录新建一个tasks.py的文件,内容如下:
在同级目录执行:
该命令的意思是启动一个worker,把tasks中的任务(add(x,y))把任务放到队列中。保持窗口打开,新开一个窗口进入交互模式,python或者ipython:
到此为止,你已经可以使用celery执行任务了,上面的python交互模式下简单的调用了add任务,并传递4,4参数。但此时有一个问题,你突然想知道这个任务的执行结果和状态,到底完了没有。因此就需要设置backend了。修改之前的tasks.py中的代码为:
除了添加backend之外,上面还添加了一个who的方法用来测试多服务器操作。修改完成之后,还是按照之前的方式启动。同样进入python的交互模型:
4. 测试多服务器做完上面的测试之后,产生了一个疑惑,Celery叫做分布式任务管理,那它的分布式体现在哪?它的任务都是怎么执行的?在哪个机器上执行的?在当前服务器上的celery服务不关闭的情况下,按照同样的方式在另外一台服务器上安装Celery,并启动:
发现前一个服务器的Celery服务中输出你刚启动的服务器的hostname,前提是那台服务器连上了你的rabbitmq。然后再进入python交互模式:
看你输入的内容已经观察两台服务器上你启动celery服务的输出。
5. RabbitMQ远程连接的问题一开始测试时远程服务器无法连接本地的RabbitMQ服务,后来发现需要设置权限,在/usr/local/etc/rabbitmq/rabbitmq-env.conf这个文件中,修改NODE_IP_ADDRESS=.0.0.1中的ip为0.0.0.0。
6. 总结的说这篇文章简单的介绍了Celery的使用,重点还是在分布式的使用。觉得不太爽的地方是,在扩展时,需要重新把代码(tasks.py)部署一遍,而不是可以直接把tasks进行共享,可能Celery是通过task来进行不同的worker的匹配的?目前还不太了解,等深入使用之后再说。
Python对list列表结构中的值进行去重的方法总结 今天遇到一个问题,在同事随意的提示下,用了itertools.groupby这个函数。不过这个东西最终还是没用上。问题就是对一个list中的新闻id进行去重,去重之
Python常用知识点汇总 1、Set基本数据类型a、set集合,是一个无序且不重复的元素集合classset(object):"""set()-newemptysetobjectset(iterable)-newsetobjectBuildanunorderedcollectionofuniqueelements."""de
Python数据类型详解(一)字符串 一.基本数据类型整数:int字符串:str(注:t等于一个tab键)布尔值:bool列表:list列表用[]元祖:tuple元祖用()字典:dict注:所有的数据类型都存在想
标签: 如何安装python环境安装包
本文链接地址:https://www.jiuchutong.com/biancheng/386154.html 转载请保留说明!友情链接: 武汉网站建设