位置: IT常识 - 正文

3D人体骨架检测(mediapipe)(3d人体骨骼模型软件)

编辑:rootadmin
3D人体骨架检测(mediapipe)

推荐整理分享3D人体骨架检测(mediapipe)(3d人体骨骼模型软件),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:3d人体骨架检测多少钱,kinect人体骨架检测,3d人体骨架检测多少钱,人体骨架模型3d软件,3d人体骨骼模型软件,3d人体骨架检测多少钱,3d人体骨骼模型软件,3d人体骨骼模型软件,内容如对您有帮助,希望把文章链接给更多的朋友!

m

在本教程中,我们将学习如何使用python中的mediapipe库进行实时3D骨架检测。

首先,我们得用pip下载下来我们需要用到的模组:

pip install mediapipe

这个工具不仅得到了谷歌的支持,而且Mediapipe中的模型也被积极地用于谷歌产品中。因此,这个模组,超级牛皮。

现在,MediaPipe的姿势检测是高保真(高质量)和低延迟(超快)的最先进的解决方案,用于在低端设备(即手机,笔记本电脑等)的实时视频源中检测一个人的33个3D地标。

pip install opencv-python

Opencv-python简称cv2, 是一个超级牛皮的模组(比mediapipe还牛皮),他可以打开你的摄像头,并且还能回去每一帧的图像并显示出来(详情请见opencv的教程),关键是,cv2还有C++和Java版的。

pip install numpy

Numpy, 为矩阵计算而生,是一个专门计算矩阵的模组,cv2会用到它。

pip install vpython

大家应该不是那么的熟悉这个模组,用来在3D中布点的。但是因为简洁且迅速的更新速度,让我选择了这个模组(主要是因为害怕会掉帧)

P.S python需要定在python 3.0 以上

接下来,就是骨架预测的操作。

首先,导入所有我们需要的模组:  

import cv2import mediapipe as mpfrom vpython import *

然后来了解一下mediapipe里骨架预测模块的初始化:  

import cv2import mediapipe as mpfrom vpython import *mp_pose = mp.solutions.pose #从mediapipe里面获取posepose = mp_pose.Pose(static_image_mode=False, min_detection_confidence=0.5, model_complexity=1) #初始化

Static_image_mode -这是一个布尔值,如果设置为False,检测器只在需要时调用,在第一帧或当跟踪器丢失跟踪时。如果设置为True,则对每个输入图像调用人员检测器。当你处理一堆不相关的图像而不是视频时,你应该把这个设为True。默认值为False。

Min_detection_confidence—考虑骨架检测模型的预测正确性所需的最小检测置信范围(0.0,1.0)。默认值为0.5。这意味着如果一个检测器的预测置信度大于或等于50%,则被认为是阳性的。

3D人体骨架检测(mediapipe)(3d人体骨骼模型软件)

Min_tracking_confidence -这是骨架关节点跟踪模型为了有效跟踪地标的姿态,需要考虑的最小跟踪置信度([0.0,1.0])。如果置信度小于设定值,则在下一帧/图像中再次调用检测器,因此增加其值会增加稳定性,但也会造成延迟。默认值为0.5。

Model_complexity—骨架检测模型的复杂性。由于有三种不同的模型可供选择,可能的值为0、1或2。值越高,结果越准确,但代价是延迟越长。缺省值为1。

Smooth_landmarks -这是一个布尔值,如果设置为True,将过滤不同帧的骨架关节点以减少噪音。只有当static_image_mode也设置为False时,这才有效。默认值为True。

mp_drawing = mp.solutions.drawing_utils

mp_drawing 是为了可视化关节点于它们之间的关系初始化的

然后,咱们来搞一下摄像头的初始化:

cam = cv2.VideoCapture(0) #开启摄像头while True: _, frame = cam.read() #获取每一帧 cv2.imshow('real time', frame) #显示每一帧 if cv2.waitKey(1) == ord(q): #检查是否按下q键 breakcam.release() #关掉摄像头cv2.destroyAllWindows() #关掉窗口​

到现在为止,你的代码应该是这样的:

import cv2import mediapipe as mpfrom vpython import *mp_pose = mp.solutions.pose #从mediapipe里面获取posepose = mp_pose.Pose(static_image_mode=False, min_detection_confidence=0.5, model_complexity=1) #初始化mp_drawing = mp.solutions.drawing_utilscam = cv2.VideoCapture(0) #开启摄像头while True: _, frame = cam.read() #获取每一帧 cv2.imshow('real time', frame) #显示每一帧 if cv2.waitKey(1) == ord(q): #检查是否按下q键 breakcam.release() #关掉摄像头cv2.destroyAllWindows() #关掉窗口​

 现在,我们将使用函数 mp.solutions.pose.Pose().process() 将图像传递到姿势检测机器学习管道。但是管道需要RGB颜色格式的输入图像,因此首先我们必须使用函数cv2.cvtColor()将示例图像从BGR转换为RGB格式,因为OpenCV以BGR格式(而不是RGB)读取图像:

results = pose.process(cv2.cvtColor(f, cv2.COLOR_BGR2RGB))

执行姿势检测后,我们将获得三十三个地标的列表,这些地标代表图像中突出人物的身体关节位置。每个地标都有:

x – 它是按图像宽度归一化为 [0.0, 1.0] 的地标 x 坐标。y:它是按图像高度归一化为 [0.0, 1.0] 的地标 y 坐标。z:它是归一化为与 x 大致相同的比例的地标 z 坐标。它表示以臀部中点为原点的地标深度,因此 z 的值越小,地标离相机越近。可见性:它是一个范围为 [0.0, 1.0] 的值,表示地标在图像中可见(未遮挡)的可能性。在决定是否要显示特定关节时,这是一个有用的变量,因为它可能在图像中被遮挡或部分可见。

但是,我们现在只需要x,y和z。

接下来,我们需要显示它们的位置,并画上线:  

mp_drawing.draw_landmarks(image=f, landmark_list=results.pose_landmarks, connections=mp_pose.POSE_CONNECTIONS)

运行一下,你的代码应该是这样的:  

import cv2import mediapipe as mpfrom vpython import *mp_pose = mp.solutions.pose #从mediapipe里面获取posepose = mp_pose.Pose(static_image_mode=False, min_detection_confidence=0.5, model_complexity=1) #初始化mp_drawing = mp.solutions.drawing_utilscam = cv2.VideoCapture(0) #开启摄像头while True: _, frame = cam.read() #获取每一帧​ results = pose.process(cv2.cvtColor(f, cv2.COLOR_BGR2RGB)) #检查每一帧中的骨架关节点 mp_drawing.draw_landmarks(image=f, landmark_list=results.pose_landmarks, connections=mp_pose.POSE_CONNECTIONS) #画上关节点​ cv2.imshow('real time', frame) #显示每一帧 if cv2.waitKey(1) == ord(q): #检查是否按下q键 breakcam.release() #关掉摄像头cv2.destroyAllWindows() #关掉窗口​​

现在,一大半已经搞完了,现在只需要搞定在3D中的显示。

points = []c = []for x in range(33): points.append(sphere(radius=5, pos=vector(0, -50, 0))) c.append(curve(retain=2, radius=4))

sphere 是用来布点的。

curve 是用来连接各个点的。

import cv2import mediapipe as mpfrom vpython import *mp_pose = mp.solutions.pose #从mediapipe里面获取posepose = mp_pose.Pose(static_image_mode=False, min_detection_confidence=0.5, model_complexity=1) #初始化​points = []c = []for x in range(33): points.append(sphere(radius=5, pos=vector(0, -50, 0))) c.append(curve(retain=2, radius=4))​mp_drawing = mp.solutions.drawing_utilscam = cv2.VideoCapture(0) #开启摄像头while True: _, frame = cam.read() #获取每一帧​ results = pose.process(cv2.cvtColor(f, cv2.COLOR_BGR2RGB)) #检查每一帧中的骨架关节点 mp_drawing.draw_landmarks(image=f, landmark_list=results.pose_landmarks, connections=mp_pose.POSE_CONNECTIONS) #画上关节点​ cv2.imshow('real time', frame) #显示每一帧 if cv2.waitKey(1) == ord(q): #检查是否按下q键 breakcam.release() #关掉摄像头cv2.destroyAllWindows() #关掉窗口​​​

P.S 后面的操作开始变得骚了,因此我每次操作都会放上一个完整的代码。

我们现在需要让我们的点根据骨骼关节点的x,y,z数值改变:

import cv2import mediapipe as mpfrom vpython import *mp_pose = mp.solutions.pose #从mediapipe里面获取posepose = mp_pose.Pose(static_image_mode=False, min_detection_confidence=0.5, model_complexity=1) #初始化​points = []c = []for x in range(33): points.append(sphere(radius=5, pos=vector(0, -50, 0))) c.append(curve(retain=2, radius=4))​mp_drawing = mp.solutions.drawing_utilscam = cv2.VideoCapture(0) #开启摄像头while True: _, frame = cam.read() #获取每一帧​ results = pose.process(cv2.cvtColor(f, cv2.COLOR_BGR2RGB)) #检查每一帧中的骨架关节点 if results.pose_world_landmarks: for i in range(11, 33): if i != 18 and i!=20 and i!= 22 and i != 17 and i!=19 and i!=21: points[i].pos.x = results.pose_world_landmarks.landmark[mp_pose.PoseLandmark(i).value].x * -cap.get(3) points[i].pos.y = results.pose_world_landmarks.landmark[mp_pose.PoseLandmark(i).value].y * -cap.get(4) points[i].pos.z = results.pose_world_landmarks.landmark[mp_pose.PoseLandmark(i).value].z * -cap.get(3) mp_drawing.draw_landmarks(image=f, landmark_list=results.pose_landmarks, connections=mp_pose.POSE_CONNECTIONS) #画上关节点​ cv2.imshow('real time', frame) #显示每一帧 if cv2.waitKey(1) == ord(q): #检查是否按下q键 breakcam.release() #关掉摄像头cv2.destroyAllWindows() #关掉窗口​​​​

再画上连接线:

import cv2import mediapipe as mpfrom vpython import *mp_pose = mp.solutions.pose #从mediapipe里面获取posepose = mp_pose.Pose(static_image_mode=False, min_detection_confidence=0.5, model_complexity=1) #初始化​points = []ids = [[12, 14, 16], [11, 13, 15], [12, 24, 26, 28, 30, 32, 28], [11, 23, 25, 27, 29, 31, 27], [12, 11], [24, 23]]c = []for x in range(33): points.append(sphere(radius=5, pos=vector(0, -50, 0))) c.append(curve(retain=2, radius=4))​mp_drawing = mp.solutions.drawing_utilscam = cv2.VideoCapture(0) #开启摄像头while True: _, frame = cam.read() #获取每一帧​ results = pose.process(cv2.cvtColor(f, cv2.COLOR_BGR2RGB)) #检查每一帧中的骨架关节点 if results.pose_world_landmarks: for i in range(11, 33): if i != 18 and i!=20 and i!= 22 and i != 17 and i!=19 and i!=21: points[i].pos.x = results.pose_world_landmarks.landmark[mp_pose.PoseLandmark(i).value].x * -cap.get(3) points[i].pos.y = results.pose_world_landmarks.landmark[mp_pose.PoseLandmark(i).value].y * -cap.get(4) points[i].pos.z = results.pose_world_landmarks.landmark[mp_pose.PoseLandmark(i).value].z * -cap.get(3) for n in range(2): for i in range(2): c[i + 2 * n].append(vector(points[ids[n][i]].pos.x, points[ids[n][i]].pos.y, points[ids[n][i]].pos.z), vector(points[ids[n][i + 1]].pos.x, points[ids[n][i + 1]].pos.y, points[ids[n][i + 1]].pos.z), retaine=2) for n in range(2, 4): for i in range(6): c[i+6*n].append(vector(points[ids[n][i]].pos.x, points[ids[n][i]].pos.y, points[ids[n][i]].pos.z), vector(points[ids[n][i +1]].pos.x, points[ids[n][i + 1]].pos.y, points[ids[n][i+1]].pos.z), retaine = 2) for n in range(4, 6): for i in range(1): c[i+2*n].append(vector(points[ids[n][i]].pos.x, points[ids[n][i]].pos.y, points[ids[n][i]].pos.z), vector(points[ids[n][i +1]].pos.x, points[ids[n][i + 1]].pos.y, points[ids[n][i+1]].pos.z), retaine = 2) mp_drawing.draw_landmarks(image=f, landmark_list=results.pose_landmarks, connections=mp_pose.POSE_CONNECTIONS) #画上关节点​ cv2.imshow('real time', frame) #显示每一帧 if cv2.waitKey(1) == ord(q): #检查是否按下q键 breakcam.release() #关掉摄像头cv2.destroyAllWindows() #关掉窗口​​​​​

好啦!作品已完成,经过整理后就变成这样了:  

import cv2import mediapipe as mpfrom vpython import *#mediapipe 模型变量初始化def mediapipe_varibles_init(): mp_pose = mp.solutions.pose pose = mp_pose.Pose(static_image_mode=False, min_detection_confidence=0.5, model_complexity=1) mp_drawing = mp.solutions.drawing_utils return pose,mp_pose, mp_drawing#vpython(三维画图)模型变量初始化def vpython_variables_init(): points = [] boxs = [] ids = [[12, 14, 16], [11, 13, 15], [12, 24, 26, 28, 30, 32, 28], [11, 23, 25, 27, 29, 31, 27], [12, 11], [24, 23]] c = [] for x in range(33): points.append(sphere(radius=5, pos=vector(0, -50, 0))) c.append(curve(retain=2, radius=4)) return points, boxs, ids, c#在3D里画出骨架的函数def draw_3d_pose(): results = pose.process(cv2.cvtColor(f, cv2.COLOR_BGR2RGB)) if results.pose_world_landmarks: for i in range(11, 33): if i != 18 and i!=20 and i!= 22 and i != 17 and i!=19 and i!=21: points[i].pos.x = results.pose_world_landmarks.landmark[mp_pose.PoseLandmark(i).value].x * -cap.get(3) points[i].pos.y = results.pose_world_landmarks.landmark[mp_pose.PoseLandmark(i).value].y * -cap.get(4) points[i].pos.z = results.pose_world_landmarks.landmark[mp_pose.PoseLandmark(i).value].z * -cap.get(3) for n in range(2): for i in range(2): c[i + 2 * n].append(vector(points[ids[n][i]].pos.x, points[ids[n][i]].pos.y, points[ids[n][i]].pos.z), vector(points[ids[n][i + 1]].pos.x, points[ids[n][i + 1]].pos.y, points[ids[n][i + 1]].pos.z), retaine=2) for n in range(2, 4): for i in range(6): c[i+6*n].append(vector(points[ids[n][i]].pos.x, points[ids[n][i]].pos.y, points[ids[n][i]].pos.z), vector(points[ids[n][i +1]].pos.x, points[ids[n][i + 1]].pos.y, points[ids[n][i+1]].pos.z), retaine = 2) for n in range(4, 6): for i in range(1): c[i+2*n].append(vector(points[ids[n][i]].pos.x, points[ids[n][i]].pos.y, points[ids[n][i]].pos.z), vector(points[ids[n][i +1]].pos.x, points[ids[n][i + 1]].pos.y, points[ids[n][i+1]].pos.z), retaine = 2) mp_drawing.draw_landmarks(image=f, landmark_list=results.pose_landmarks, connections=mp_pose.POSE_CONNECTIONS)#窗口关闭函数def clos_def(): cap.release() cv2.destroyAllWindows()#获取变量points, boxs, ids, c = vpython_variables_init()pose, mp_pose, mp_drawing = mediapipe_varibles_init()#打开摄像头,0是第一个摄像头,如果想换一个摄像头请改变这个数字cap = cv2.VideoCapture(0)while True: #获取每一帧的图像 _, f = cap.read() #vpython里的一个函数,用来调整3D中的FPS rate(150) #调用在3D里画出骨架的函数 draw_3d_pose() #在每一帧里画骨架 #显示每一帧 cv2.imshow('real_time', f) #检测是否要关闭窗口 if cv2.waitKey(1) & 0xFF == ord('q'): break#调用窗口关闭函数clos_def()
本文链接地址:https://www.jiuchutong.com/zhishi/300482.html 转载请保留说明!

上一篇:2022年前端Vue常见面试题大全(三万长文)持续更新...(vue前端常见面试题)

下一篇:Web 开发与搜索引擎优化,你应该选择哪一个?(web搜索与挖掘)

  • 抖音直播怎么看主播收到多少礼物(抖音直播怎么看直播)

    抖音直播怎么看主播收到多少礼物(抖音直播怎么看直播)

  • 陌陌卸载后对方看到的是什么(陌陌卸载后对方发信息我能收到吗?)

    陌陌卸载后对方看到的是什么(陌陌卸载后对方发信息我能收到吗?)

  • 淘宝客pid怎么获取(如何获得淘宝客pid)

    淘宝客pid怎么获取(如何获得淘宝客pid)

  • 键盘当鼠标用怎么移动(键盘当鼠标用怎么设置)

    键盘当鼠标用怎么移动(键盘当鼠标用怎么设置)

  • 苹果x怎么设置不接听陌生电话(苹果x怎么设置呼叫转移其他号码)

    苹果x怎么设置不接听陌生电话(苹果x怎么设置呼叫转移其他号码)

  • 哔哩哔哩黑名单在哪(哔哩哔哩黑名单怎么解除)

    哔哩哔哩黑名单在哪(哔哩哔哩黑名单怎么解除)

  • 手机太暗了怎么增亮(手机太暗了怎么办才能变亮一点)

    手机太暗了怎么增亮(手机太暗了怎么办才能变亮一点)

  • 微信注销手机号可以解绑吗(微信注销手机号多久能绑其他微信)

    微信注销手机号可以解绑吗(微信注销手机号多久能绑其他微信)

  • x防水吗(iphone13promax防水吗)

    x防水吗(iphone13promax防水吗)

  • ipad屏幕白点擦不掉(ipad屏幕出现白点是维修还是换新)

    ipad屏幕白点擦不掉(ipad屏幕出现白点是维修还是换新)

  • msmpeng.exe是什么进程(msmpeng.exe 是什么)

    msmpeng.exe是什么进程(msmpeng.exe 是什么)

  • 腾讯视频可不可以两个人一起看电影(腾讯视频可不可以一起看)

    腾讯视频可不可以两个人一起看电影(腾讯视频可不可以一起看)

  • ipad是电脑吗(ipad算不算电脑)

    ipad是电脑吗(ipad算不算电脑)

  • 备忘录时间可以修改吗(备忘录的时间)

    备忘录时间可以修改吗(备忘录的时间)

  • 为什么鼠标一点就选中一片(为什么鼠标一点就全选了)

    为什么鼠标一点就选中一片(为什么鼠标一点就全选了)

  • vivo手机怎么开空调(vivo手机怎么开老年模式)

    vivo手机怎么开空调(vivo手机怎么开老年模式)

  • 趣键盘表情包怎么弄(趣键盘的表情包怎样一键发送)

    趣键盘表情包怎么弄(趣键盘的表情包怎样一键发送)

  • oppo手机粘贴板在哪里打开(OPPO手机粘贴板怎么设置多个)

    oppo手机粘贴板在哪里打开(OPPO手机粘贴板怎么设置多个)

  • 苹果6密码忘了怎么解(苹果6密码忘了,被停用了,怎么解决)

    苹果6密码忘了怎么解(苹果6密码忘了,被停用了,怎么解决)

  • pr为什么回车没法渲染(pr回车不能渲染)

    pr为什么回车没法渲染(pr回车不能渲染)

  • 苹果11配件都有什么(苹果11所有配件清单)

    苹果11配件都有什么(苹果11所有配件清单)

  • 蚂蚁森林790g能量怎么产生(蚂蚁森林 180g)

    蚂蚁森林790g能量怎么产生(蚂蚁森林 180g)

  • 怎么找相似的图片搜索(查找相似图片)

    怎么找相似的图片搜索(查找相似图片)

  • Uni-app中的生命周期(uni-app原理)

    Uni-app中的生命周期(uni-app原理)

  • 计算机毕业设计——简单的网页设计(计算机专业的毕业设计作品新颖)

    计算机毕业设计——简单的网页设计(计算机专业的毕业设计作品新颖)

  • LVS 负载均衡(LVS负载均衡群集的常用调度算法包含哪几种?)

    LVS 负载均衡(LVS负载均衡群集的常用调度算法包含哪几种?)

  • 税务基本任务和稽查范围?
  • 什么原始凭证可以填写
  • 未开票收入如何红冲
  • 小规模未达起征点
  • 电子承兑转出后银行有凭证吗
  • 企业所得税申报表A类
  • 长期应付款是什么科目 借方
  • 财务报表提示未审计
  • 工程的管理费收入怎么算
  • 人员工资薪金所得税计算税款
  • 怎么开具红票
  • 工程项目立项前的安全评估
  • 未交增值税科目贷方负数怎么处理
  • 租赁期间怎么算
  • 我国流转税的税种组成为
  • 收到的财政补贴如何做账
  • 购入的苗木种植一段时间后再销售要交增值税吗?
  • 小规模纳税人月超10万季度不超30万
  • 事业单位的房租上缴国库吗
  • 资金账簿印花税最新政策2022年
  • 老版普通增值税发票还能用吗
  • 财务软件利润表没显示
  • 电子商业承兑与银行承兑哪个好
  • 有限责任公司注册要求
  • 什么是留存收益项目
  • 转出的进项税额是加还是减
  • 固定资产清理净值是什么意思
  • 高新技术企业研究开发费用加计扣除
  • 现代服务业包括哪些
  • 固定资产进项发票
  • 购入研发设备
  • 提前支付的费用记账
  • 内部员工租房租金合法吗
  • 在途物资属于什么科目借贷方向
  • phpdie
  • 结转损益类收入的分录
  • 税收变动作用
  • 分公司不能享受所得税优惠
  • php两个等号和三个的区别
  • vue的slice
  • vue.js过滤器
  • [深度学习] fast-reid入门教程
  • phpgd库怎么开
  • 免税收入包括
  • 财政科技支出
  • 销项负数发票需不需要增加库存
  • phpcms二次开发教程
  • python异常值处理方法
  • SQLITE3 使用总结
  • 奖金属于职工福利吗
  • 研发人员旅游能计入研发费用吗
  • 股权激励费用怎么做账
  • 业务招待费汇算清缴账务处理
  • 车户过户
  • 报废资产处置账务处理
  • 不动产出租要交什么税
  • 收到总公司拨款怎么入账
  • 出口退税的范围是多少
  • 进项税加计抵减的分录怎么做?
  • 怎么处理固定资产残值
  • 微信转账没有显示对方的名字怎么办
  • 工伤七至十级有伤残津贴吗
  • 企业建账要求
  • 以前年度调增的收入下一年如何申报
  • 电脑安装win8
  • win7怎么启用显卡
  • mac修改java版本
  • windows10玩游戏卡吗
  • win7图标随便移动
  • win7格式化怎么操作?
  • jquery鼠标点击
  • 支持google play
  • dos内部命令大全
  • Button.setOnClickListener(OnClickListener l) 原理
  • javascript如何学
  • javascript基础笔记
  • python入坑指南
  • 浙江网上税务局登录官网
  • 税务总局在贯彻落实意见任务分工中
  • 新疆哪个城市最有发展前景
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设