位置: IT常识 - 正文

计算机视觉之姿态识别(原理+代码实操)(计算机视觉姿势评估英语)

编辑:rootadmin
计算机视觉之姿态识别(原理+代码实操) 一、姿态识别整体过程基于图像视频基于mems传感器(高性能三维运动姿态测量系统)二、人体分割

推荐整理分享计算机视觉之姿态识别(原理+代码实操)(计算机视觉姿势评估英语),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:计算机视觉是啥,计算机视觉姿态识别,计算机视觉是做什么的,计算机视觉姿态识别,计算机视觉是啥,计算机视觉姿态识别,计算机视觉姿势评估英语,计算机视觉姿态识别,内容如对您有帮助,希望把文章链接给更多的朋友!

•人体分割使用的方法可以大体分为人体骨骼关键点检测、语义分割等方式实现。这里主要分析与姿态相关的人体骨骼关键点检测。人体骨骼关键点检测输出是人体的骨架信息,一般主要作为人体姿态识别的基础部分,主要用于分割、对齐等。一般实现流程为:

三、人体姿态识别四、人体骨骼关键点检测

•主要检测人体的关键点信息,如关节,五官等,通过关键点描述人体骨骼信息,常用来作为姿态识别、行为分析等的基础部件,如下图所示:

分为两种模式:

自顶向下的关键点是目标检测到人体框,然后再进行关键点的检测

自底向上(BottomUp)的人体骨骼关键点检测算法主要包含两个部分:关键点检测和关键点聚类连接,关键点检测目的是将图片中所有人的所有关键点全部检测出来。关键点检测完毕之后需要对这些关键点进行聚类处理,将每一个人的不同关键点连接在一块,从而连接

以openpose为例:

•openpose的检测流程为:

•1)计算出所有关键点(头部,肩膀,手肘,手腕...)

•2)计算出所有关联区域

•3)根据关键点和关联区域进行矢量连接,由前两步得到的关键点和关联区域,而后需要依据关联区域将关键点连接以组成人体真正的骨骼结构。作者提出了以一个最小限度的边数量来获得个体姿势的生成树图(用了二分图+匈牙利算法等),在保证不错的准确度的同时,大大减少了复杂度,提高了实时性,解决了对关键点聚类配对时需要每对点都试验一遍然后找到最优的划分和组合结构的难题。

五、2D+人体骨骼关键点检测

•DensePose-RCNN采用的是金字塔网络(FPN)特征的RCNN结构,区域特征聚集方式ROIalign pooling以获得每个选定区域内的密集部分标签和坐标。将2D图像中人的表面图像数据投影到3D人体表面上,将人体的3D表面模型切分为24个部分,然后为每一部分构建一个UV坐标系,将2D图像上的人体部分的每一个点映射到相应的3D表面部分。也可以在估计出图像中人体的UV之后,将3Dmodel通过变换,将空间坐标转换为UV坐标之后,贴到图像上。

•DensePose借鉴了Mask-RCNN的结构,同时带有FeaturePyramid Network(FPN)的特征,以及ROI-Align池化。整体流程为:首先使用Faster-RCNN得到人物区域boundingbox,然后使用CNN网络模块分块,分块后用CNN网络模型处理每一个分块,最后得到目标的热力图IVU。

六、3D人体骨骼关键点检测实现七、常用算法

•DensePose

•OpenPose

计算机视觉之姿态识别(原理+代码实操)(计算机视觉姿势评估英语)

•Realtime Multi-Person Pose Estimation

•AlphaPose(RMPE)

•Human Body Pose Estimation

•DeepPose

•Mediapipe(MoveNet)

1、RMPE算法(自顶向下)

先进行行人检测,得到边界框,然后在每一个边界框中检测人体关键点,连接成一个人形,缺点就是受检测框的影响太大,漏检,误检,IOU大小等都会对结果有影响

2、Mediapipe(自底向上)

•MoveNet模型:Google在2021年5月推出的一款轻量化姿态估计模型

•bottom-up的模型,这种范式一般用在多人姿态估计中,而更特别的是,MoveNet是一个bottom-up的单人姿态估计模型。从MoveNet的技术博客分享中,它在两种范式之间取得了优秀的平衡,既避免了单独训练一个det模型,又尽量保留了单人姿态估计的精度优势。

·快速下采样:尽量快地压缩图片尺寸,降低整体的计算量

·残差结构:获取浅层特征和梯度,一定程度上弥补快速下采样造成的一些问题(下采样太快信息损失太严重,模型来不及学出一些高级的有意义的语义特征),强化特征中的空间信息

·参数集中在主干:在残差分支上的参数和计算量尽量少,把本来就比较可怜的算力全用在主干分支上

输出:

·CenterHeatmap[B, 1, H, W]:预测每个人的几何中心,主要用于存在性检测,用Heatmap上一个锚点来代替目标检测的bbox

·KeypointRegression[B, 2K, H, W]:基于中心点来回归17个关节点坐标值

·KeypointHeatmap[B, K, H, W]:每种类型的关键点使用一张Heatmap进行检测,这意味着多人场景下这张Heatmap中会出现多个高斯核

·OffsetRegression[B, 2K, H, W]:回归Keypoint Heatmap中各高斯核中心跟真实坐标的偏移值,用于消除Heatmap方法的量化误差

八、代码实操

采用了mediapipe算法进行简单的演示:

import cv2import mediapipe as mpimport time #计算fps值#两个初始化mpPose = mp.solutions.posepose = mpPose.Pose()#初始化画图工具mpDraw = mp.solutions.drawing_utils#调用摄像头,在同级目录下新建Videos文件夹,然后在里面放一些MP4文件,方便读取cap = cv2.VideoCapture('只因.mp4')#计算pfs值需要用到的变量,先初始化以一下pTime = 0while True:#读取图像success, img = cap.read()#转换为RGB格式,因为Pose类智能处理RGB格式,读取的图像格式是BGR格式imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)#处理一下图像results = pose.process(imgRGB)# print(results.pose_landmarks)#检测到人体的话:if results.pose_landmarks:#使用mpDraw来刻画人体关键点并连接起来mpDraw.draw_landmarks(img, results.pose_landmarks, mpPose.POSE_CONNECTIONS)#如果我们想对33个关键点中的某一个进行特殊操作,需要先遍历33个关键点for id, lm in enumerate(results.pose_landmarks.landmark):#打印出来的关键点坐标都是百分比的形式,我们需要获取一下视频的宽和高h, w, c = img.shapeprint(id, lm)#将x乘视频的宽,y乘视频的高转换成坐标形式cx, cy = int(lm.x * w), int(lm.y * h)#使用cv2的circle函数将关键点特殊处理cv2.circle(img, (cx, cy), 5, (255, 0, 0), cv2.FILLED)#计算fps值cTime = time.time()fps = 1 / (cTime - pTime)pTime = cTimecv2.putText(img, str(int(fps)), (70, 50), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 0), 3)cv2.imshow("Image", img)cv2.waitKey(1)

效果如下图所示:

因为mediapipe是自底向上的算法,可以看出来即使人没有完全出现也能识别到关键点,之后连到一起,对于单人姿态识别的话效果还是很不错的。

本文链接地址:https://www.jiuchutong.com/zhishi/296059.html 转载请保留说明!

上一篇:import在vue中使用(import vue from vue报错)

下一篇:微信登录的接口(微信登录接口购买)

  • 递延所得税什么时候确认
  • 工伤在门诊的收据能报销吗
  • 8月现金收入9月存银行如何做账
  • 什么情况下核定征收转为查账征收
  • 综合所得预扣预缴表在哪里查
  • 网上银行回单是什么意思
  • 个人到税务局开增值税专用发票
  • 高新技术企业发展现状
  • 代开专票作废退税怎么做账?
  • 已认证发票退回的流程
  • 收到联营单位投入的设备一台
  • 总账期末余额为零怎么写
  • 发票金额开错说明如何书写?
  • 转账支票怎么进账到个人账户
  • 案例讲解:当年度未及时取得有效凭证的相关成本、费用涉税处理
  • 其他应收款要做账吗
  • 月收入不超10万减免 具体分销售额吗
  • 小规模开电子发票模板
  • 出口退税企业分类
  • 小企业怎么申请建设用地
  • 土地闲置费能否扣除
  • 增值税的附加税有哪些,税费多少
  • 个体工商户公转私用途写什么
  • windows11安装错误
  • 完工转出产成品成本计算
  • 当月收到服务成本票下个月才开出发票
  • 房地产评估计费
  • linux1970
  • 公司给其他单位分红需要对方开票吗
  • 一只草丛里的狐狸作文
  • 以前年度企业所得税分录
  • Vue Grid Layout -️ 适用Vue.js的栅格布局系统(保姆级使用教程)
  • 期末应交增值税转入未交增值税
  • 销售机构人员工作总结
  • 月底结转汇兑损益
  • resize2fs命令 同步文件系统容量到内核
  • 律师费开票税费谁承担
  • 支付厂房租赁费怎么入账
  • 销售费用工资是什么科目
  • 收据可以当发票吗?
  • 用友t3怎样设置权限
  • 中标的工程交易怎么处理
  • 个人工资薪金如何零申报
  • 小规模未达到起征点申报表怎么填
  • 合并资产负债表与母公司资产负债表要看那一个好
  • 暂估成本分录怎么写
  • 当月费用次月报销
  • 国外佣金算什么费用比较好
  • 当月已经认证的发票可以取消认证吗
  • 预付款开了增值税专票怎么办
  • 外贸企业的汇率怎么算
  • 生活垃圾处理费标准
  • 进口车购置税多少个点
  • 收到投资款怎么做凭证
  • 安装好sql2000后安装sp4
  • 老生常谈啥意思
  • windows key查询
  • windows 2003 iis+php5+mysql+phpmyadmin 详细安装配置
  • 惠普台式笔记本一体机电脑bios中文
  • visio.exe是什么进程
  • linux中python命令
  • linux系统添加用户的命令
  • redhat6.9安装图解
  • centos7安装软件包命令
  • Win10 Mobile Redstone版本号确定为Build 11082明年发布
  • win10wifi总是掉线
  • linux新增lv
  • python计算两个数的最大公约数
  • perl -pi
  • nodejs中的shell命令是什么意思
  • ftp远程桌面
  • 适合当前端的手机
  • JavaScript中的方法名不区分大小写
  • 在javascript中关于alert confirm
  • jquery中什么方法用于模拟光标悬停事件
  • js 模块 modules
  • python二分查找非递归
  • 给个人佣金怎么避税
  • 国税地税发票编码查询
  • 宁波国税局几点上班几点下班
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设