位置: IT常识 - 正文

【PaddleOCR-kie】一、关键信息抽取:使用VI-LayoutXLM模型推理预测(SER+RE)(paddle!)

编辑:rootadmin
【PaddleOCR-kie】一、关键信息抽取:使用VI-LayoutXLM模型推理预测(SER+RE)

推荐整理分享【PaddleOCR-kie】一、关键信息抽取:使用VI-LayoutXLM模型推理预测(SER+RE)(paddle!),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:paddle detection,paddleocr使用教程,paddle detection,paddle!,paddle oar,paddle!,paddlerocr,paddleocr api,内容如对您有帮助,希望把文章链接给更多的朋友!

背景:在训练自己数据集进行kie之前,想跑一下md里面的例程,但md教程内容混乱,而且同一个内容有多个手册,毕竟是多人合作的项目,可能是为了工程解耦,方便更新考虑……需要运行的模型和运行步骤散落在不用文件夹下的不同md里面……很无语,对于新手小白真的很不友好,因此在这里,按照一个正常工程的使用顺序,进行一个总结。

PaddleOCR进行关键信息抽取(kie),将是一个系列,分为多篇: 一:使用PP-Structure 文档分析中关键信息抽取,运行VI-LayoutXLM模型在XFUND_zh数据集上的推理模型,跑通推理 二:使用PPOCRLabel对自己的数据集进行关键信息提取的标注 三:进行自定义数据集的训练、自训练模型的评估、推理预测

这是第一篇:使用VI-LayoutXLM模型推理,测试关键信息抽取表单识别功能

文章目录工程中关键信息提取相关内容本文参考理论部分step0、环境准备step1、下载解压VI-LayoutXLM推理模型step2、下载XFUND数据集step3、使用模型进行预测(基于PaddleInference)单SER: 语义实体识别 (Semantic Entity Recognition)SER+RE: 关系抽取 (Relation Extraction)另一种方法(基于动态图的预测)仅预测SER模型SER + RE模型串联工程中关键信息提取相关内容

这里首先列出ppocr项目中与kie相关内容路径,方便查找,步骤从这些md中整合而来:

(本文主要参考这个)关键信息抽取-快速开始手册:.\ppstructure\kie\README_ch.md关键信息抽取全流程指南:.\ppstructure\kie\how_to_do_kie.md(自己模型训练评估与推理)关键信息抽取手册md.\doc\doc_ch\kie.md关键信息抽取算法-VI-LayoutXLM.\doc\doc_ch\algorithm_kie_vi_layoutxlm.md配置文件位于.\configs\kie\vi_layoutxlm\关键信息抽取数据集说明文档(介绍了FUNSD、XFUND、wildreceipt数据集三种).\doc\doc_ch\dataset\kie_datasets.md自己标注关键信息:PPOCRLabel使用文档./PPOCRLabel/README_ch.md本文参考

-(本文主要参考这个)PP-Structure 文档分析-关键信息抽取-快速开始手册:.\ppstructure\kie\README_ch.md 主要使用这个文件夹里面的内容

其他参考:https://blog.csdn.net/m0_63642362/article/details/128894464

理论部分

基于多模态模型的关键信息抽取任务有2种主要的解决方案。

(1)文本检测 + 文本识别 + 语义实体识别(SER) (2)文本检测 + 文本识别 + 语义实体识别(SER) + 关系抽取(RE)

关于上述解决方案的详细介绍,请参考关键信息抽取全流程指南:.\ppstructure\kie\how_to_do_kie.md 我们下面首先执行单SER

step0、环境准备

除了前期基础环境安装

git clone https://github.com/PaddlePaddle/PaddleOCR.gitcd PaddleOCRpip install -r requirements.txt

以外,还有一句

pip install -r ppstructure/kie/requirements.txtstep1、下载解压VI-LayoutXLM推理模型

环境配置这里不赘述,可以参考博主之前的文章,下面默认已经下载好ppocr项目文件夹了: 下表来自《关键信息抽取算法-VI-LayoutXLM》.\doc\doc_ch\algorithm_kie_vi_layoutxlm.md 下载保存推理模型到项目根目录名为model的文件夹里面

模型骨干网络任务配置文件hmean下载链接VI-LayoutXLMVI-LayoutXLM-baseSERser_vi_layoutxlm_xfund_zh_udml.yml93.19%训练模型/推理模型VI-LayoutXLMVI-LayoutXLM-baseREre_vi_layoutxlm_xfund_zh_udml.yml83.92%训练模型/推理模型

或直接在终端下载+解压

#下载解压ser_vi_layoutxlm_xfund_infer.tarwget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/ser_vi_layoutxlm_xfund_infer.tartar -xvf ser_vi_layoutxlm_xfund_infer.tar#下载解压re_vi_layoutxlm_xfund_infer.tarwget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/re_vi_layoutxlm_xfund_infer.tartar -xvf re_vi_layoutxlm_xfund_infer.tar【PaddleOCR-kie】一、关键信息抽取:使用VI-LayoutXLM模型推理预测(SER+RE)(paddle!)

step2、下载XFUND数据集

下载XFUND数据集,放在根目录train_data文件夹里面, 下载解压:

# 准备XFUND数据集,对于推理,这里主要是为了获得字典文件class_list_xfun.txtmkdir ./PaddleOCR/train_datawget https://paddleocr.bj.bcebos.com/ppstructure/dataset/XFUND.tartar -xf XFUND.tar

之所以叫train_data,是因为和配置文件里面的路径保持一致,方便不修改yaml文件而直接用

step3、使用模型进行预测(基于PaddleInference)

PaddleOCR/ppstructure/kie

单SER: 语义实体识别 (Semantic Entity Recognition)

使用前面下载好的SER推理模型

cd ppstructurepython3 kie/predict_kie_token_ser.py \ --kie_algorithm=LayoutXLM \ --ser_model_dir=../model/ser_vi_layoutxlm_xfund_infer \ --image_dir=./docs/kie/input/zh_val_42.jpg \ --ser_dict_path=../train_data/XFUND/class_list_xfun.txt \ --vis_font_path=../doc/fonts/simfang.ttf \ --ocr_order_method="tb-yx"

复制版

python3 kie/predict_kie_token_ser.py --kie_algorithm=LayoutXLM --ser_model_dir=../model/ser_vi_layoutxlm_xfund_infer --image_dir=./docs/kie/input/zh_val_42.jpg --ser_dict_path=../train_data/XFUND/class_list_xfun.txt --vis_font_path=../doc/fonts/simfang.ttf --ocr_order_method="tb-yx"ser_model_dir:我放在model文件夹内,image_dir:要预测的图片ser_dict_path:指向数据集的list文件位置vis_font_path:是字体文件夹

第一次运行会下载一些模型

可视化结果保存在ppstructure/output目录下 对应infer.txt

SER+RE: 关系抽取 (Relation Extraction)cd ppstructure python3 kie/predict_kie_token_ser_re.py \ --kie_algorithm=LayoutXLM \ --ser_model_dir=../model/ser_vi_layoutxlm_xfund_infer \ --re_model_dir=../model/re_vi_layoutxlm_xfund_infer\ --use_visual_backbone=False \ --image_dir=./docs/kie/input/zh_val_42.jpg \ --ser_dict_path=../train_data/XFUND/class_list_xfun.txt \ --vis_font_path=../doc/fonts/simfang.ttf \ --ocr_order_method="tb-yx"

复制版

python3 kie/predict_kie_token_ser_re.py --kie_algorithm=LayoutXLM --ser_model_dir=../model/ser_vi_layoutxlm_xfund_infer --re_model_dir=../model/re_vi_layoutxlm_xfund_infer --use_visual_backbone=False --image_dir=./docs/kie/input/zh_val_42.jpg --ser_dict_path=../train_data/XFUND/class_list_xfun.txt --vis_font_path=../doc/fonts/simfang.ttf --ocr_order_method="tb-yx"

我在NX盒子上推理会比较慢 RE在有些内容上还是比较弱的

另一种方法(基于动态图的预测)

手册里面还有一个使用tools/infer_kie_token_ser.py代码,PaddleOCR引擎的,使用预训练模型的,基于动态图的预测 不过经过实测,这里直接使用预训练模型和上面使用微调模型效果一样,毕竟没微调

#安装PaddleOCR引擎用于预测pip install paddleocr -Umkdir pretrained_modelcd pretrained_model# 下载并解压SER预训练模型wget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/ser_vi_layoutxlm_xfund_pretrained.tar && tar -xf ser_vi_layoutxlm_xfund_pretrained.tar# 下载并解压RE预训练模型wget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/re_vi_layoutxlm_xfund_pretrained.tar && tar -xf re_vi_layoutxlm_xfund_pretrained.tar

如果希望使用OCR引擎,获取端到端的预测结果,可以使用下面的命令进行预测。

仅预测SER模型python3 tools/infer_kie_token_ser.py \ -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml \ -o Architecture.Backbone.checkpoints=./pretrained_model/ser_vi_layoutxlm_xfund_pretrained/best_accuracy \ Global.infer_img=./ppstructure/docs/kie/input/zh_val_42.jpgSER + RE模型串联python3 ./tools/infer_kie_token_ser_re.py \ -c configs/kie/vi_layoutxlm/re_vi_layoutxlm_xfund_zh.yml \ -o Architecture.Backbone.checkpoints=./pretrained_model/re_vi_layoutxlm_xfund_pretrained/best_accuracy \ Global.infer_img=./train_data/XFUND/zh_val/image/zh_val_42.jpg \ -c_ser configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml \ -o_ser Architecture.Backbone.checkpoints=./pretrained_model/ser_vi_layoutxlm_xfund_pretrained/best_accuracy

(后续训练篇幅涉及)如果希望加载标注好的文本检测与识别结果,仅预测可以使用下面的命令进行预测。 仅预测SER模型 python3 tools/infer_kie_token_ser.py \ -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml \ -o Architecture.Backbone.checkpoints=./pretrained_model/ser_vi_layoutxlm_xfund_pretrained/best_accuracy \ Global.infer_img=./train_data/XFUND/zh_val/val.json \ Global.infer_mode=False

SER + RE模型串联 python3 ./tools/infer_kie_token_ser_re.py \ -c configs/kie/vi_layoutxlm/re_vi_layoutxlm_xfund_zh.yml \ -o Architecture.Backbone.checkpoints=./pretrained_model/re_vi_layoutxlm_xfund_pretrained/best_accuracy \ Global.infer_img=./train_data/XFUND/zh_val/val.json \ Global.infer_mode=False \ -c_ser configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml \ -o_ser Architecture.Backbone.checkpoints=./pretrained_model/ser_vi_layoutxlm_xfund_pretrained/best_accuracy

end

ps:

在关键信息抽取手册md.\doc\doc_ch\kie.md也有提到使用预训练模型的预测(tools/infer_kie_token_ser.py) 我们在后面几篇再展开:具体内容摘抄: 如您通过 python3 tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml 完成了模型的训练过程。您可以使用如下命令进行中文模型预测。 python3 tools/infer_kie_token_ser.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./pretrained_model/ser_vi_layoutxlm_xfund_pretrained/best_accuracy Global.infer_img=./ppstructure/docs/kie/input/zh_val_42.jpg 使用tools/infer_kie_token_ser.py需要首先有训练产生的checkpoints : ./output/ser_vi_layoutxlm_xfund_zh/best_accuracy作为支持,所以只能在训练后使用,具体在本系列第三篇展开

本文链接地址:https://www.jiuchutong.com/zhishi/278752.html 转载请保留说明!

上一篇:笔记本投屏到电视教程(笔记本投屏到电视)

下一篇:DeskAdServ.exe是病毒程序吗 DeskAdServ进程是广告吗(deldir.exe是什么)

  • 税金及附加怎么来的
  • 固定资产清理的账务处理
  • 注册资本可以是0元吗
  • 社会团体财务手册怎么写
  • 印花税减半征收优惠政策2022
  • 小规模给一般纳税人开专票能抵扣吗
  • 产品在海关发生质量问题
  • 税务局每年都会大数据抽查吗
  • 一般企业每个月的保洁费用是多少
  • 为什么有些单位一直在招聘
  • 税控盘抵增值税表怎么填
  • 财务杠杆系数取值范围
  • 现金流量表中现金流量净额怎么算
  • 生产成本和主营业务成本哪个大
  • 版权使用费属于什么税目
  • 违约金收税吗
  • 收到保险公司赔款计入什么科目
  • 生产车间广告牌设计图片
  • 水利建设专项收入怎么申报不了
  • 返利计提分录
  • 系统备份工具
  • 股份公司和有限公司工作哪个好一些
  • w10纯净版系统怎么样
  • Win11安卓子系统怎么安装apk
  • 公司用车车祸一般谁负责
  • 净损益是
  • 亡灵节mid
  • 报销员工餐费属于哪个科目
  • 小微企业所得税税收优惠政策2023年
  • 废料收入的成本怎么核算
  • 转入固定资产清理会计科目
  • 购买货物收到发票财务报表怎么提现
  • 采用定额法计算产品成本,其程序如何?
  • 自动驾驶的时候可以睡觉吗
  • php不能通过浏览器运行吗
  • 网上打印企业征信报告
  • 期末未缴税额是负数,本月申报为什么没有抵扣
  • css选择器分哪几类
  • 企业销售商品应该向购货单位收取的货款
  • js实现功能
  • dns configuration
  • 帮助命令的快捷键是什么
  • 税款已缴纳可以作废申报吗
  • 电子承兑操作
  • 免税进项抵扣要做账吗
  • 摘要概括增值税专用发票的基本联次
  • 新会计制度固定资产对应科目
  • 所有者投入的资本属于什么会计要素
  • 典当行必须出具当票吗
  • 在校大学生可以考教师资格证吗
  • 土地增值税中开发间接费用工资包括哪些人
  • 坏账核算备抵法的优缺点
  • 房租费待摊分录怎么做
  • 如何理解递延所得税资产和负债
  • 建筑行业每月报税
  • 应收账款周转率计算公式
  • 污水处理工程内容包括
  • 工程施工人工费如何结转
  • 广告发布费属于什么费用
  • 设备5年直线法计提折旧怎么做?
  • sql解析器是什么
  • ubuntu sudo apt-get install
  • Windows 8.1下MySQL5.7 忘记root 密码的解决方法
  • mysql添加外键约束的sql语句
  • linux安装linux
  • 如何关闭windows8的密码
  • mac怎么设置开机默认windows
  • linux系统ll
  • win8删除文件很慢
  • WIN7如何设置屏幕保护密码
  • linux安装有哪几种方式
  • bootstrap怎么用
  • Android自定义对话框
  • 信号处理函数 strdup
  • nodejs 入门
  • 广东省电子税务局登录方式
  • 内蒙古网上税务登记流程
  • 山东威海文登宋村镇有哪些村
  • 国家税收返还政策有哪些
  • 城市维护建设税属于什么科目
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设