位置: IT常识 - 正文

lxml&xpath一站式教学

编辑:rootadmin
lxml&xpath一站式教学 文章目录XPath定义XPath 概览安装lxml初步使用xpath 常用表达式获取所有节点获取子节点获取父亲节点属性匹配获取文本获取属性属性多值匹配多属性匹配按序选择节点轴选择总结XPath定义

推荐整理分享lxml&xpath一站式教学,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。它最初是用来搜寻 XML 文档的,现在它同样适用于 HTML 文档的搜索

XPath 概览

XPath 的选择功能十分强大,它提供了非常简洁明了的路径选择表达式 。 另外,它还提供了超过100 个内建函数,用于字符串、数值、时间的匹配以及节点、序列的处理等 。 几乎所有我们想要定位的节点,都可以用 XPath 来选择 。

安装lxmlpip install lxml初步使用

读取本地html文件 etree模块会自动修正HTML文件中缺失的内容

from lxml import etree# 读取html文档,字符串fp = open("index.html",'r',encoding='utf-8')html = fp.read()# 实例化XPath解析对象,可以将字符串转换成Element对象tree = etree.HTML(html)print(tree)

web网站html文件

from lxml import etreeimport requestshtml = requests.get(url="https://www.baidu.com")tree = etree.HTML(html.text)print(tree)xpath 常用表达式

xpath的使用其实就是根据表达式找出文档中所有符合条件的内容

表达式描述nodename选取此节点的所有子节点/从当前节点选取直接子节点//从当前节点选取子孙节点.选取当前节点..选取当前节点的父节点@选取属性*通配符,选择所有元素节点与元素名[@attrib]选取具有给定属性的所有元素[@attrib=‘value’]选取给定属性具有给定值的所有元素[tag]选取所有具有指定元素的直接子节点[tag=‘text’]选取所有具有指定元素并且文本内容是text节点

获取所有节点fp = open("index.html",'r',encoding='utf-8')html = fp.read()tree = etree.HTML(html)result = tree.xpath("//*") # 获取所有节点print(result)

输入: 解释:

// 获取当前节点的子孙节点 * 代表匹配所有节点,//* 就代表获取当前节点的所有子孙节点

获取子孙节点中的div节点

# 获取当前节点下的所有div的子孙节点result = tree.xpath("//div")

输出:

获取子节点

现在要获取<html>下的head节点以及head节点里面的title节点

result = tree.xpath("/html/head") # 获取head节点print(result)result = tree.xpath("/html/head/title") # 获取title节点print(result)

输出: 解释:这里我们采用的是 /来进行获取的,每次获取一级,依次获取到目标元素

获取父亲节点

通过 / 、//可以获取子节点或者子孙节点,现在我学习如何通过子节点找父节点

找出li节点的父节点,找出li节点的父节点的父亲节点

result = tree.xpath("//li/..")print(result)result = tree.xpath("//li/../..") print(result)

输出: 通过输出我们可以看到li的父节点是ul, ul的父节点是div 解释: 先通过 //li找到li节点在通过 .. 找到父节点

属性匹配

找出li标签中class=item01的元素

result = tree.xpath('/html/body/div/ul/li[@class="item01"]')print(result)

输出: 选择属性中有id的

result = tree.xpath('/html/body/div/ul/li[@id]')print(result)

输出: 解释: 通过@ 我们可以根据属性寻找节点,可以指定属性值,也可以直接根据属性进行查询

获取文本

获取li中的文字

# 直接获取li标签下面所有子孙元素的文字result = tree.xpath('/html/body/div/ul/li//text()')print(result)# 通过寻找子元素的方式,一级一级的找到文字result2 = tree.xpath('/html/body/div/ul/li/a/text()')print(result2)

输出: 通过输出的内容分析我们能够看出,直接通过li//text()获取到文本内容会比li/a/text()获取的多,因为li//text()或获取li中所有的文字包括换行,而li/a/text()只会找出a标签下所有的文字

获取属性

有时候我们在进行数据解析的时候会需要一些属性值,例如我们在写爬虫项目的时候我们往往需要url链接

lxml&xpath一站式教学

找出li中id=id01 a标签中 href的值

result = tree.xpath('/html/body/div/ul/li[@id="id01"]/a/@href')print(result)

输出 解释: 属性值的获取也是通过@ 来进行实现的,@href:获取href的属性值

属性多值匹配

在实际的项目中会出现一个属性值有多个值的情况出现,例如class在实际项目中会有多个值的情况出现

获取class中含有class_val1的节点

# 这种方式是错误的,并不会找出对应的class中含有class_val1的节点tree.xpath('/html/body/div/ul/li[@class="class_val1"]')# 正确的做法 使用contains()函数# 获取class中含有class_val1的节点result = tree.xpath('/html/body/div/ul/li[contains(@class,"class_val1")]')print(result)

输出: 解释: contains()函数 获取指定属性中包含某一属性值的节点 使用方式contains(@属性,"属性值")

多属性匹配

有时候我还需要根据多个属性来确定一个节点

找出li中 class中含有item01且id=id01 中a标签中的文本

result = tree.xpath('/html/body/div/ul/li[contains(@class,"item01") and @id="id01"]/a/text()')print(result)

解释: 使用 and可以连接多个条件值

拓展类似的操作符还有

运算符描述实例返回值or或age=10 or age=20如果age等于10或者等于20则返回true反正返回falseand与age>19 and age<21如果age等于20则返回true,否则返回falsemod取余5 mod 2 1|取两个节点的集合//book | //cd返回所有拥有book和cd元素的节点集合+加5+49-减5-41*乘5*420div除法6 div 32=等于age=10true!=不等于age!=10true<小于age<10true<=小于或等于age<=10true>大于age>10true>=大于或等于age>=10true按序选择

在有些时候我们在选择的时候可能匹配了多个节点,但是我们可能只需要其中的某些节点,xpath为我们提供了可以 根据索引进行取值的操作。

注意在xpath中索引从1开始,并不是以0开始

获取第一个li标签 获取前三个li标签 获取最后一个li标签

# 获取第一个`li`标签result = tree.xpath('/html/body/div/ul/li[1]')print(result)# 获取前三个`li`标签result2 = tree.xpath('/html/body/div/ul/li[position()<4]')print(result2)# 获取最后一个`li`标签result3 = tree.xpath('/html/body/div/ul/li[last()]')print(result3)

输出: 解释: position() 返回当前正在被处理的节点的 index 位置 last() 返回所有匹配节点的最后一个的索引

节点轴选择

轴可定义相对于当前节点的节点集。 (定义有点抽象,看完下面的实例就懂了)

获取li的所有的祖先节点

result = tree.xpath('/html/body/div/ul/li/ancestor::*')print(result)

输出: 获取li祖先节点中的div

result = tree.xpath('/html/body/div/ul/li/ancestor::div')print(result)

输出: 获取li节点的子孙元素

result = tree.xpath('/html/body/div/ul/li/child::*')print(result)

获取li节点的子孙元素中a标签中href="./index.html"

result = tree.xpath('/html/body/div/ul/li/child::a[@href="./index.html"]')print(result)

解释: ancestor、child都称作轴 ancestor轴就是相对当前节点的所有祖先节点的集合,child轴就是相对当前节点的子孙节点的集合,而后面::后面跟着是对轴节点集合的操作 *代表匹配所有的节点 div 代表取节点集中的div节点, 另外还可以使用其他的筛选条件进行筛选child::a[@href="./index.html"]:选取子孙节点中a节点中href="./index.html"的节点,上面学习的筛选方式都可以在这里使用。

类似这样的轴还有很多

轴名称结果ancestor选取当前节点的所有先辈(父、祖父等)。ancestor-or-self选取当前节点的所有先辈(父、祖父等)以及当前节点本身。attribute选取当前节点的所有属性。child选取当前节点的所有子元素。descendant选取当前节点的所有后代元素(子、孙等)。descendant-or-self选取当前节点的所有后代元素(子、孙等)以及当前节点本身。following选取文档中当前节点的结束标签之后的所有节点。namespace选取当前节点的所有命名空间节点。parent选取当前节点的父节点。preceding选取文档中当前节点的开始标签之前的所有节点。preceding-sibling选取当前节点之前的所有同级节点。self选取当前节点。

xpath轴的使用方式都是一样的,在实际中我们只需要根据自己的需求选择合适的轴。

总结

关于lxml和xpath的教学大概就有这么多,这类教程很多用法都不便于讲解,这里只是提供一些用法,后续如果想熟练的使用xpath解析数据还需要勤加练习,结合自己的实际情况进行选择具体的xpath,

在使用一段时间后你可能会发现最常用的也就最基础的获取子节点、获取子孙节点、获取文本、获取属性值。这些也足够你解决你遇到的绝大部分问题,后面关于xpath轴的或许在实际中没等你想到就将问题解决了。但是我还是建议你学习,在我们看别人的代码的时候别人可能会用,我们平时可以不会写但是见到这样的代码的时候一定要认识。

本文链接地址:https://www.jiuchutong.com/zhishi/299823.html 转载请保留说明!

上一篇:openAI api 生产最佳实践(open api平台)

下一篇:3分钟认识Vue3的v-model

  • 苹果13字体大小怎么设置(苹果13怎么设置时间字体大小)

    苹果13字体大小怎么设置(苹果13怎么设置时间字体大小)

  • ios测试版能直接更新正式版吗(ios测试版能长期使用吗)

    ios测试版能直接更新正式版吗(ios测试版能长期使用吗)

  • 微信收款记录删除了还可以恢复吗(微信收款记录删除后警察还能恢复吗)

    微信收款记录删除了还可以恢复吗(微信收款记录删除后警察还能恢复吗)

  • icloud照片删除了还能恢复么(icloud照片删除了怎么恢复到手机相册)

    icloud照片删除了还能恢复么(icloud照片删除了怎么恢复到手机相册)

  • 抖音点过赞再取消对方知道吗(抖音点过赞再取消还能找到吗)

    抖音点过赞再取消对方知道吗(抖音点过赞再取消还能找到吗)

  • 计算机分类汇总怎么操作(计算机分类汇总怎么做)

    计算机分类汇总怎么操作(计算机分类汇总怎么做)

  • airpodspro触摸区域在哪里(airpodspro触摸键有声音吗)

    airpodspro触摸区域在哪里(airpodspro触摸键有声音吗)

  • 五千毫安的充电宝能充几次(五千毫安的充电宝能带上高铁吗)

    五千毫安的充电宝能充几次(五千毫安的充电宝能带上高铁吗)

  • 拉黑微信好友对方知道吗(拉黑微信好友对方知道吗怎么样才能看出对方把我拉黑)

    拉黑微信好友对方知道吗(拉黑微信好友对方知道吗怎么样才能看出对方把我拉黑)

  • 华为p40手机截屏怎么截(华为P40手机截屏在哪找)

    华为p40手机截屏怎么截(华为P40手机截屏在哪找)

  • oppo手机已插卡但显示无卡(OPPO手机已插卡,手机没有信号显示,左上角显示X)

    oppo手机已插卡但显示无卡(OPPO手机已插卡,手机没有信号显示,左上角显示X)

  • 暂不支持显示此flash内容(为什么老是显示暂不支持该应用)

    暂不支持显示此flash内容(为什么老是显示暂不支持该应用)

  • 华为手机出现曝光怎么办(华为手机出现曝光已锁定怎么解除)

    华为手机出现曝光怎么办(华为手机出现曝光已锁定怎么解除)

  • 华为nova5外部尺寸是多少(华为nova5i外观)

    华为nova5外部尺寸是多少(华为nova5i外观)

  • iphonex掉电快怎么办(苹果x手机掉电快发热)

    iphonex掉电快怎么办(苹果x手机掉电快发热)

  • ipad怎么打开amr(Ipad怎么打开定位)

    ipad怎么打开amr(Ipad怎么打开定位)

  • 网易云如何设置车载歌词(网易云如何设置听歌背景)

    网易云如何设置车载歌词(网易云如何设置听歌背景)

  • l2d是什么(l2什么意思)

    l2d是什么(l2什么意思)

  • 天猫国际和全球购区别(天猫国际和全球速卖通的区别)

    天猫国际和全球购区别(天猫国际和全球速卖通的区别)

  • 开了移动网络为什么没网(开了移动网络为什么却用不了流量)

    开了移动网络为什么没网(开了移动网络为什么却用不了流量)

  • htc是哪个国家产的(htc哪国的)

    htc是哪个国家产的(htc哪国的)

  • 微信如何群发(微信如何群发好友)

    微信如何群发(微信如何群发好友)

  • 视频聊天声音能关掉吗(视频聊天声音能听到吗)

    视频聊天声音能关掉吗(视频聊天声音能听到吗)

  • 为什么Valorant的FPS在Win11中下降?修复Windows11中Valorant FPS的下降的问题(valorant!)

    为什么Valorant的FPS在Win11中下降?修复Windows11中Valorant FPS的下降的问题(valorant!)

  • mac系统怎么给iphone7和iphone7plus自定义电话铃声?(mac怎么airdrop给ipad)

    mac系统怎么给iphone7和iphone7plus自定义电话铃声?(mac怎么airdrop给ipad)

  • 陶尔米纳古剧院,意大利西西里岛 (© Antonino Bartuccio/eStock Photo)(陶尔米纳电影节)

    陶尔米纳古剧院,意大利西西里岛 (© Antonino Bartuccio/eStock Photo)(陶尔米纳电影节)

  • 个体户定额超了怎么收费
  • 转出未交增值税最终怎么转平
  • 购买软件无形资产
  • 经营性投资是什么
  • 购销金额多少的情况下必须需要签合同?
  • 企业注销处置固定资产需要缴纳哪样税
  • 其他综合收益影响所有者权益吗
  • 离线开票时间超时
  • 为职工支付的补充养老保险计入哪
  • 外币购销业务的账务处理
  • 存货项目包括哪些具体内容
  • 交易性金融资产有哪些
  • 实际收到股票股利的分录
  • 募捐建议
  • 企业大股东减持股份
  • 车辆挂靠收取管理费怎么做账
  • 货物正常报损的分录
  • 本月进项大于销项怎么做会计分录
  • 税务是如何处理违章的
  • 现金交易的发票可以认证
  • 房地产企业税负率
  • 一般纳税人几个点的税
  • 原材料明细账余额为零怎么写
  • 什么情况下要交消费税
  • 研发阶段计入管理费用吗吗
  • 进项税未抵扣会计分录
  • win11系统优化教程
  • 流动资产和非流动资产占比多少合适
  • 监事会职权口诀
  • win7系统中回收站的内容清空后还能恢复吗
  • Win11 Build 22454.1000 开发者预览版发布(附更新修改已知问题+安装)
  • thinkphp5开发教程
  • 微软不包括
  • 固定资产内部抵消
  • 销户余额转出总公司怎样记账
  • 房地产企业预售房产怎么缴税
  • Win10怎么显示文件类型
  • 银行本票实际金额小于票面金额
  • 工程未竣工结算但质保期已过
  • 待抵扣进项税额借贷方向
  • php 输出
  • thinkphp框架下404页面设置 仅三步
  • 微信小程序的视频怎么下载
  • 设备租赁费怎么入账
  • 加收税收滞纳金属于行政处罚吗
  • 电影制片过程
  • 从业人数啥意思
  • 涂料消费税征税范围
  • 电子口岸无纸化报关
  • 备抵类是什么意思
  • 生育津贴能个人申请吗 个人怎么领取生育津贴
  • 小企业会计准则和一般企业会计准则的区别
  • 一般纳税人暂未开具发票
  • 政府工会经费计入什么科目
  • 退物业费如何记帐
  • 金税盘分盘可以全额抵扣吗
  • 进出口 外汇
  • 利润分配贷方余额怎么处理
  • 关联企业费用分摊账务
  • 新成立的教育机构值得去吗
  • 采购材料发票未到
  • 对公账户有资金往来必须入账吗
  • 私人边际成本怎么算
  • 资本金账户资金允许
  • MySQL MEM_ROOT详解及实例代码
  • SQLSERVER 中datetime 和 smalldatetime类型分析说明
  • win8.1资源管理器频繁假死
  • mac win10 wifi
  • win8网络连接受限怎么处理
  • win8远程桌面连接设置
  • win7电脑老是自动重启怎么回事
  • linuxone
  • Python判断字符串结尾并输出yes或no
  • linux lvm配置
  • js图形界面
  • javascript学习指南
  • 加油站怎么收税
  • 水利优惠政策
  • 个人所得税税单下载
  • 国家体育总局发布的
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设