位置: 编程技术 - 正文

深入解读Python解析XML的几种方式(python求解析解)

编辑:rootadmin

推荐整理分享深入解读Python解析XML的几种方式(python求解析解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python了解,解密python,python解析算法,python语言解读,解密python,解密python,python语言解读,python解析算法,内容如对您有帮助,希望把文章链接给更多的朋友!

在XML解析方面,Python贯彻了自己“开箱即用”(batteries included)的原则。在自带的标准库中,Python提供了大量可以用于处理XML语言的包和工具,数量之多,甚至让Python编程新手无从选择。

本文将介绍深入解读利用Python语言解析XML文件的几种方式,并以笔者推荐使用的ElementTree模块为例,演示具体使用方法和场景。文中所使用的Python版本为2.7。

一、什么是XML&#;

XML是可扩展标记语言(Extensible Markup Language)的缩写,其中的 标记(markup)是关键部分。您可以创建内容,然后使用限定标记标记它,从而使每个单词、短语或块成为可识别、可分类的信息。

标记语言从早期的私有公司和政府制定形式逐渐演变成标准通用标记语言(Standard Generalized Markup Language,SGML)、超文本标记语言(Hypertext Markup Language,HTML),并且最终演变成 XML。XML有以下几个特点。

XML的设计宗旨是传输数据,而非显示数据。 XML标签没有被预定义。您需要自行定义标签。 XML被设计为具有自我描述性。 XML是W3C的推荐标准。

目前,XML在Web中起到的作用不会亚于一直作为Web基石的HTML。 XML无所不在。XML是各种应用程序之间进行数据传输的最常用的工具,并且在信息存储和描述领域变得越来越流行。因此,学会如何解析XML文件,对于Web开发来说是十分重要的。

二、有哪些可以解析XML的Python包?

Python的标准库中,提供了6种可以用于处理XML的包。

xml.dom

xml.dom实现的是W3C制定的DOM API。如果你习惯于使用DOM API或者有人要求这这样做,可以使用这个包。不过要注意,在这个包中,还提供了几个不同的模块,各自的性能有所区别。

DOM解析器在任何处理开始之前,必须把基于XML文件生成的树状数据放在内存,所以DOM解析器的内存使用量完全根据输入资料的大小。

xml.dom.minidom

xml.dom.minidom是DOM API的极简化实现,比完整版的DOM要简单的多,而且这个包也小的多。那些不熟悉DOM的朋友,应该考虑使用xml.etree.ElementTree模块。据lxml的作者评价,这个模块使用起来并不方便,效率也不高,而且还容易出现问题。

xml.dom.pulldom

与其他模块不同,xml.dom.pulldom模块提供的是一个“pull解析器”,其背后的基本概念指的是从XML流中pull事件,然后进行处理。虽然与SAX一样采用事件驱动模型(event-driven processing model),但是不同的是,使用pull解析器时,使用者需要明确地从XML流中pull事件,并对这些事件遍历处理,直到处理完成或者出现错误。

pull解析(pull parsing)是近来兴起的一种XML处理趋势。此前诸如SAX和DOM这些流行的XML解析框架,都是push-based,也就是说对解析工作的控制权,掌握在解析器的手中。

xml.sax

xml.sax模块实现的是SAX API,这个模块牺牲了便捷性来换取速度和内存占用。SAX是Simple API for XML的缩写,它并不是由W3C官方所提出的标准。它是事件驱动的,并不需要一次性读入整个文档,而文档的读入过程也就是SAX的解析过程。所谓事件驱动,是指一种基于回调(callback)机制的程序运行方法。

xml.parser.expat

xml.parser.expat提供了对C语言编写的expat解析器的一个直接的、底层API接口。expat接口与SAX类似,也是基于事件回调机制,但是这个接口并不是标准化的,只适用于expat库。

expat是一个面向流的解析器。您注册的解析器回调(或handler)功能,然后开始搜索它的文档。当解析器识别该文件的指定的位置,它会调用该部分相应的处理程序(如果您已经注册的一个)。该文件被输送到解析器,会被分割成多个片断,并分段装到内存中。因此expat可以解析那些巨大的文件。

xml.etree.ElementTree(以下简称ET)

xml.etree.ElementTree模块提供了一个轻量级、Pythonic的API,同时还有一个高效的C语言实现,即xml.etree.cElementTree。与DOM相比,ET的速度更快,API使用更直接、方便。与SAX相比,ET.iterparse函数同样提供了按需解析的功能,不会一次性在内存中读入整个文档。ET的性能与SAX模块大致相仿,但是它的API更加高层次,用户使用起来更加便捷。

笔者建议,在使用Python进行XML解析时,首选使用ET模块,除非你有其他特别的需求,可能需要另外的模块来满足。

解析XML的这几种API并不是Python独创的,Python也是通过借鉴其他语言或者直接从其他语言引入进来的。例如expat就是一个用C语言开发的、用来解析XML文档的开发库。而SAX最初是由DavidMegginson采用java语言开发的,DOM可以以一种独立于平台和语言的方式访问和修改一个文档的内容和结构,可以应用于任何编程语言。

下面,我们以ElementTree模块为例,介绍在Python中如何解析lxml。

三、利用ElementTree解析XML

Python标准库中,提供了ET的两种实现。一个是纯Python实现的xml.etree.ElementTree,另一个是速度更快的C语言实现xml.etree.cElementTree。请记住始终使用C语言实现,因为它的速度要快很多,而且内存消耗也要少很多。如果你所使用的Python版本中没有cElementTree所需的加速模块,你可以这样导入模块:

深入解读Python解析XML的几种方式(python求解析解)

如果某个API存在不同的实现,上面是常见的导入方式。当然,很可能你直接导入第一个模块时,并不会出现问题。请注意,自Python 3.3之后,就不用采用上面的导入方法,因为ElemenTree模块会自动优先使用C加速器,如果不存在C实现,则会使用Python实现。因此,使用Python 3.3+的朋友,只需要import xml.etree.ElementTree即可。

1、将XML文档解析为树(tree)

我们先从基础讲起。XML是一种结构化、层级化的数据格式,最适合体现XML的数据结构就是树。ET提供了两个对象:ElementTree将整个XML文档转化为树,Element则代表着树上的单个节点。对整个XML文档的交互(读取,写入,查找需要的元素),一般是在ElementTree层面进行的。对单个XML元素及其子元素,则是在Element层面进行的。下面我们举例介绍主要使用方法。

我们使用下面的XML文档,作为演示数据:

接下来,我们加载这个文档,并进行解析:

然后,我们获取根元素(root element):

正如之前所讲的,根元素(root)是一个Element对象。我们看看根元素都有哪些属性:

没错,根元素并没有属性。与其他Element对象一样,根元素也具备遍历其直接子元素的接口:

我们还可以通过索引值来访问特定的子元素:

2、查找需要的元素

从上面的示例中,可以明显发现我们能够通过简单的递归方法(对每一个元素,递归式访问其所有子元素)获取树中的所有元素。但是,由于这是十分常见的工作,ET提供了一些简便的实现方法。

Element对象有一个iter方法,可以对某个元素对象之下所有的子元素进行深度优先遍历(DFS)。ElementTree对象同样也有这个方法。下面是查找XML文档中所有元素的最简单方法:

在此基础上,我们可以对树进行任意遍历——遍历所有元素,查找出自己感兴趣的属性。但是ET可以让这个工作更加简便、快捷。iter方法可以接受tag名称,然后遍历所有具备所提供tag的元素:

3、支持通过XPath查找元素

使用XPath查找感兴趣的元素,更加方便。Element对象中有一些find方法可以接受Xpath路径作为参数,find方法会返回第一个匹配的子元素,findall以列表的形式返回所有匹配的子元素, iterfind则返回一个所有匹配元素的迭代器(iterator)。ElementTree对象也具备这些方法,相应地它的查找是从根节点开始的。

下面是一个使用XPath查找元素的示例:

上面的代码返回了branch元素之下所有tag为sub-branch的元素。接下来查找所有具备某个name属性的branch元素:

4、构建XML文档

利用ET,很容易就可以完成XML文档构建,并写入保存为文件。ElementTree对象的write方法就可以实现这个需求。

一般来说,有两种主要使用场景。一是你先读取一个XML文档,进行修改,然后再将修改写入文档,二是从头创建一个新XML文档。

修改文档的话,可以通过调整Element对象来实现。请看下面的例子:

在上面的代码中,我们删除了root元素的第三个子元素,为第一个子元素增加了新属性。这个树可以重新写入至文件中。最终的XML文档应该是下面这样的:

请注意,文档中元素的属性顺序与原文档不同。这是因为ET是以字典的形式保存属性的,而字典是一个无序的数据结构。当然,XML也不关注属性的顺序。

从头构建一个完整的文档也很容易。ET模块提供了一个SubElement工厂函数,让创建元素的过程变得很简单:

5、利用iterparse解析XML流

XML文档通常都会比较大,如何直接将文档读入内存的话,那么进行解析时就会出现问题。这也就是为什么不建议使用DOM,而是SAX API的理由之一。

我们上面谈到,ET可以将XML文档加载为保存在内存里的树(in-memory tree),然后再进行处理。但是在解析大文件时,这应该也会出现和DOM一样的内存消耗大的问题吧?没错,的确有这个问题。为了解决这个问题,ET提供了一个类似SAX的特殊工具——iterparse,可以循序地解析XML。

接下来,笔者为大家展示如何使用iterparse,并与标准的树解析方式进行对比。我们使用一个自动生成的XML文档,下面是该文档的开头部分:

我们来统计一下文档中出现了多少个文本值为Zimbabwe的location元素。下面是使用ET.parse的标准方法:

上面的代码会将全部元素载入内存,逐一解析。当解析一个约MB的XML文档时,运行上面脚本的Python进程的内存使用峰值为约MB,总运行时间问2.9秒。

请注意,我们其实不需要讲整个树加载到内存里。只要检测出文本为相应值得location元素即可。其他数据都可以废弃。这时,我们就可以用上iterparse方法了:

上面的for循环会遍历iterparse事件,首先检查事件是否为end,然后判断元素的tag是否为location,以及其文本值是否符合目标值。另外,调用elem.clear()非常关键:因为iterparse仍然会生成一个树,只是循序生成的而已。废弃掉不需要的元素,就相当于废弃了整个树,释放出系统分配的内存。

当利用上面这个脚本解析同一个文件时,内存使用峰值只有7MB,运行时间为2.5秒。速度提升的原因,是我们这里只在树被构建时,遍历一次。而使用parse的标准方法是先完成整个树的构建后,才再次遍历查找所需要的元素。

iterparse的性能与SAX相当,但是其API却更加有用:iterparse会循序地构建树;而利用SAX时,你还得自己完成树的构建工作。

标签: python求解析解

本文链接地址:https://www.jiuchutong.com/biancheng/382351.html 转载请保留说明!

上一篇:Python3.2模拟实现webqq登录(python模拟操作)

下一篇:bpython 功能强大的Python shell(a+bpython)

  • 证券交易印花税税率是多少
  • 资产的计税基础怎么计算
  • 公司卫生纸是自己带还是公司买
  • 月末进项税大于销项税怎么结转
  • 拖欠安装费
  • 建设用地规划许可证和建设工程规划许可证的区别
  • 按简易办法计税销售额税率
  • 投标公司资质借用计入什么会计科目?
  • 人力资源代缴社保合法吗
  • 外贸企业0退税率的账务处理
  • 长期股权变更
  • 增值税普通发票可以抵扣吗
  • 没有三方协议怎么缴纳社保
  • 营改增后房地产企业增值税税率
  • 可以通过哪些渠道获得就业信息
  • 垃圾填埋沼气发电招聘
  • 合并报表的少数股东权益分录
  • 维修设备领用材料会计分录怎么写
  • 网店提现要多久能到账
  • 收取赔偿金开具什么发票
  • 清理费用影响当期损益吗
  • 维护费抵减增值税的记账凭证
  • 关闭同步中心 win10
  • 进项税额转出能进成本吗
  • 文件改后缀什么意思
  • 公司购买电脑流程怎么做
  • php部署在什么服务器
  • pddocument.load
  • php中提交表单数据
  • pow是什么意思中文翻译
  • PHP:curl_multi_init()的用法_cURL函数
  • linux的系统设置在哪
  • 会计科目明细分类科目表
  • 索尔兹伯里评价
  • vue 跳转页面
  • 中秋快乐的祝福语怎么说
  • 详解php归并排序数据
  • 充话费如何开公司发票
  • 固定资金的概念及其特点
  • 发票章与开票方名称不一致是什么情况
  • python @time
  • 苹果macos安装
  • 内帐收入怎么确定
  • 货物运输企业的经营内容
  • 房地产企业代收费用
  • 物业费没收到可以确认收入吗
  • 因管理不善材料被盗应记啥科目
  • 个贷系统平账专户A户付款会计分录
  • 租农民土地
  • 生产车间的会计科目
  • 公司租赁厂房
  • 非流动资产基金和专用基金
  • 租房公司报销发票怎么开
  • 冲以前年度成本怎么做凭证
  • 新会计准则会计科目明细表
  • 公益捐赠仪式流程
  • 会计凭证传递的基本要求
  • win8语言栏不见了 怎么调出来
  • Win10控制面板在c盘哪里
  • ie10工具栏在哪
  • linux vps 教程
  • windows怎么查
  • centos sudoers
  • 电脑安装win8
  • 使用jquery
  • android消息队列使用
  • perl中sub
  • jqgrid设置宽度
  • 流程控制语句java
  • javascript中的函数如何理解
  • node发送邮箱
  • vue父子组件传值props
  • unity ui
  • 基于zepto的移动端轻量级日期插件--date_picker
  • 使用驱动器u盘之前需要格式化
  • arm兼容库安卓x86
  • js阻止浏览器后退
  • 发票一年可以开多少
  • 中山市国家税务总局阜沙分局局长杨兴华
  • 个人的车租给公司保险可以入账吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设