位置: 编程技术 - 正文
推荐整理分享详解python并发获取snmp信息及性能测试(python3并发),希望有所帮助,仅作参考,欢迎阅读内容。
文章相关热门搜索词:python并发请求接口,python并发请求接口,python并发执行函数,python并发请求接口,python并发执行函数,python并发执行函数,python的并发,python并发请求接口,内容如对您有帮助,希望把文章链接给更多的朋友!
python & snmp
用python获取snmp信息有多个现成的库可以使用,其中比较常用的是netsnmp和pysnmp两个库。网上有较多的关于两个库的例子。
本文重点在于如何并发的获取snmp的数据,即同时获取多台机器的snmp信息。
netsnmp
先说netsnmp。python的netsnmp,其实是来自于net-snmp包。
python通过一个c文件调用net-snmp的接口获取数据。
因此,在并发获取多台机器的时候,不能够使用协程获取。因为使用协程,在get数据的时候,协程会一直等待net-snmp接口返回数据,而不会像socket使用时那样在等待数据时把CPU切换给其他协程使用。从这点上来说,使用协程和串行获取没有区别。
那么如何解决并发获取的问题呢?可以使用线程,多线程获取(当然也可以使用多进程)。多个线程同时调用net-snmp的接口获取数据,然后cpu在多个线程之间不停切换。当一个线程获取一个结果后,可以继续调用接口获取下一个snmp数据。
这里我写了一个样例程序。首先把所有的host和oid做成任务放到队列里,然后启动多个线程,去执行获取任务。程序样例如下:
netsnmp除了支持get操作之外,还支持walk操作,即遍历某个oid。
但是walk使用的时候需要谨慎,以免导致高延时等问题,具体可以参见之前的一篇snmpwalk高延时问题分析的博客。
pysnmp
pysnmp是用python实现的一套snmp协议的库。其自身提供了对于异步的支持。
pysnmp本身只支持最基础的get和getnext命令,因此如果想使用walk,需要自己进行实现。
性能测试
在同一个环境下,对两者进行了性能测试。两者对个host,个oid进行采集。
测试组 耗时(sec) netsnmp(线程) 6. netsnmp(线程) 3. netsnmp(线程) 3. pysnmp 4.
可以看到netsnmp的采集速度跟线程数有关。当线程数增大到一定程度,采集时间不再缩短。因为开辟线程同样会消耗时间。而已有的线程已经足够处理。
pysnmp性能较之略差一下。详细分析pysnmp在添加任务(执行getCmd时)消耗了约1.2s,之后的采集约消耗3.3秒。
在增加了oid数,在进行实验。host仍然是个,oid是个。
测试组 耗时(sec) netsnmp(线程) . netsnmp(线程) . netsnmp(线程) 4. pysnmp .
可以看到差距被进一步拉大。在线程足够多的情况下,netsnmp的效率要明显强于pysnmp。
因为二者都支持可以并行采集多个host,从易用性来说,netsnmp更为简单一些,且netsnmp支持walk功能。本文更加推荐netsnmp。
安装netsnmp需要安装net-snmp。如果centos,则使用yum会较为方便。
标签: python3并发
本文链接地址:https://www.jiuchutong.com/biancheng/377145.html 转载请保留说明!上一篇:使用Python写CUDA程序的方法(python调用cuda执行加法)
下一篇:Python使用PDFMiner解析PDF代码实例(python pdf操作)
友情链接: 武汉网站建设