位置: IT常识 - 正文

【三维重建】三维重构基础知识、三维数据、重建流程(三维重建的主要步骤)

编辑:rootadmin
【三维重建】三维重构基础知识、三维数据、重建流程 文章目录1.在计算机内生成三维信息三维图像重构:四个坐标系坐标系转换内参矩阵外参矩阵图像采集设备的标定方法:2.相关概念(1)彩色图像和深度图像(2)PCL(3)点云数据(PCD)3.三维重建流程3.1 深度图像获取3.2 预处理3.3 点云计算3.4 点云配准(1)粗糙配准SfM问题中的不确定性(2)精细配准(3)全局配准3.5 数据融合KinectFusion技术TSDF(Truncated Signed Distance Field,截断符号距离场)3.6 表面生成常用工具1.在计算机内生成三维信息

推荐整理分享【三维重建】三维重构基础知识、三维数据、重建流程(三维重建的主要步骤),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:三维重建方法,三维重建视频教程,三维重建方法,三维重建方法,三维重建的四种方法,三维重建技术 各种方法简介,三维重建的四种常用方法,三维重建的四种常用方法,内容如对您有帮助,希望把文章链接给更多的朋友!

1.使用几何建模软件,通过人机交互生成人为控制下的三维:3DMAX、Maya、AutoCAD、UG

2.获取真实的物体形状:三维重构

三维图像重构:

摄像机获取图像,对图像分析处理,结合CV知识推导出现实中物体的三维信息

从二维图像到三维空间的重构(模仿生物两只眼睛观察物体产生的深度)

对二维图像中像素点的三维信息的恢复,尤其是深度信息

一般采用两个摄像机,对同一个物体进行采集。

单视图:信息不完全,需要利用经验知识

多视图:类似人的双目定位,相对比较容易

理想:对每个像素点的深度进行恢复

三维矢量图形 代替 三维位图

位图:记录一个个的点位,以像素为单位,放大后图像变得模糊不清

矢量图:不受分辨率影响,适合三维建模,线条顺滑,不逼真,无法产生多彩多变的图像

过程:

图像获取:获取二维,影响因素:光照,相机几何特性

摄像机标定:建立有效的成像模型,求解摄像机的内外参数,结合图像得到在空间中的三维点坐标

特征提取:特征点、特征线、区域。

大多以点为匹配基元,怎么提取与怎么匹配 紧密联系,提取时确认匹配方法

提取算法:

基于方向导数的方法

基于图像亮度对比关系的方法

基于数学形态学的方法

立体匹配:根据提取的特征,建立各个图像之间的对应关系,将同一个物理空间点,在不同的图像中的成像点,一一对应起来。影响因素:光照,噪声,物体特性,摄像机特性

三维重建:利用 匹配结果+摄像机标定的内外参数 进行重建

重构方法:

空间点的重建:最基本

空间直线、空间二次曲线的重建

极线约束法

全像素的三维重建:最理想,测量条件严格,仅限于某一具体对象

空间点的三维重建举例:

四个坐标系

1.像素坐标系:图像的每个像素点,存储在数组中,在图像左上角定义原点,建立图像坐标系uv,坐标分别对应数组中的存储位置 2.图像坐标系(ICS):用来表示像素在图像中的物理位置所建立的坐标系,原点一般在中心。上图xy。

3.摄像机坐标系(CCS):如图,XY轴与成像平面坐标系的xy平行,Z轴与光轴平行,垂直于图像,交点为图像的主点,也就是成像平面坐标系的原点。OO‘为焦距。 4.世界坐标系(WCS):在环境中选择一个参考坐标系,描述的是摄像机和物体的位置。与摄像机坐标系的关系用旋转矩阵R和平移向量t来描述。对应关系如下:

坐标系转换

记一个点在

世界坐标系(WCS,World Coordinate System)中的坐标为Xw=[xw,yw,zw]TX_w=[x_w,y_w,z_w]^TXw​=[xw​,yw​,zw​]T,

相机坐标系(CCS,Camera Coordinate System)的坐标为Xc=[xc,yc,zc]TX_c=[x_c,y_c,z_c]^TXc​=[xc​,yc​,zc​]T,

相机图像中的投影(ICS,Image Coordinate System)中的坐标为X=[u,v]TX=[u,v]^TX=[u,v]T

内参矩阵

表示相机和图像的关系

外参矩阵

相机和世界的变换

外参矩阵包括平移矩阵t 和 旋转矩阵R R为3x3, t为3x1

因此,结合上面两个,推导出 世界和图像的转换

图像采集设备的标定方法:

摄影测量学的传统设备标定方法:17个参数描述二维与三维的约束关系,计算量大,高精度

直接线性变换法:参数少,便于计算

2.相关概念(1)彩色图像和深度图像

彩色:RGB,像素点存储其亮度

深度:像素点存储该点到相机的距离,深度值

深度值只与该点到摄像机的距离有关,和光照,环境,方向都没有关系。

但是,由于物体表面反射,半透明或透明物体,深色物体,距离超过量程等因素,会造成深度图缺失

利用一张RGB+一张dept,可以补全

(2)PCL

Point Cloud Library 点云库

PCL框架包括很多先进的算法和典型的数据结构,如滤波、分割、配准、识别、追踪、可视化、模型拟合、表面重建等诸多功能

libpcl I/O:完成数据的输入、输出过程,如点云数据的读写; libpcl filters:完成数据采样、特征提取、参数拟合等过程; libpcl register:完成深度图像的配准过程,例如迭代最近点算法; libpcl surface:完成三维模型的表面生成过程,包括三角网格化、表面平滑等。

(3)点云数据(PCD)

扫描资料 以点的形式记录,点可以是 三维坐标、颜色、光照强度等。

点云包括几何信息和非几何信息:

几何信息:(能够被空间变换影响的,点的这部分维度叫做特征)如:点的坐标、曲面法线、法向量、切向量。

非几何信息:(不能被空间变换影响,这部分维度叫做描述子)如:颜色、温度、光照强度。

3.三维重建流程

比较常见的流程是: 提取图像特征(如SIFT、SURF等)->利用特征将图像计算图像之间的特征匹配->基于匹配的特征进行稀疏重建,得到各个图像的相机位姿和稀疏的特征点云(SfM)->基于相机位姿进行稠密重建,得到稠密点云(PMVS/CMVS)->基于点云重建网格、体素或者纹理

3.1 深度图像获取

同时获取深度图像和彩色图像

3.2 预处理

对深度图像进行去噪和修复(图像增强)

3.3 点云计算【三维重建】三维重构基础知识、三维数据、重建流程(三维重建的主要步骤)

预处理后的图像具有二维信息,像素点的值为深度信息,物体表面到传感器之间的直线距离

根据上面的结果,计算推导出 世界坐标系和图像像素坐标系之间的转换关系

3.4 点云配准

多个不同角度的图片,之间有一些公共部分

为了利用深度图像进行三维重建,需要对图像进行分析,求解各个图片之间的变换参数。

这个配准的过程,以公共部分为基准,把不同时间、角度、光照的多个图像,叠加匹配,到统一的坐标系中。

计算出每个图片相应的 平移向量与旋转矩阵,消除冗余信息

(1)粗糙配准

提取多个图片之间的特征点(特征点可以是:直线、拐点、曲线曲率;自定义符号、旋转图形、轴心)

根据特征方程 初步配准

粗糙配准后,点云和目标点云 将处于同一尺度与参考坐标系内

通过自动 记录坐标,得到粗糙配准的 初始值

算法:SFM(Structure From Motion)

主要用在单目重建,一段时间内获取连续图像,重建三维环境

双目:多个摄像机,拍摄同一时刻的同一物体,也称为静态立体视觉

单目:一个摄像机,但单个图像无法完成,需要一段时间的一系列图像,也称为动态立体视觉

从不同角度拍摄同一物体

固定传感器,旋转物体

旋转传感器,固定物体

单目根据实时性不同,分为 离线重建,在线重建

离线重建:如SFM

在线重建:与SLAM (simultaneous localization and mapping,同步定位与地图绘制)和VO有联系,分为渐进式重建、直接式重建。

渐进式:(深度滤波)利用下一时刻图像,不断融合之前的三维信息

SVO: [https://github.com/uzh-rpg/rpg_svo ](https://github.com/uzh-rpg/rpg_svo (深度滤波在depth_filter.cpp) (深度滤波在depth_filter.cpp里面)

REMODE:https://github.com/uzh-rpg/rpg_open_remode

直接式:(深度融合)利用若干时刻图像,一次性完成一个场景的三维重建。与SFM类似。但计算的图像少,因此实时性高。

SfM指的是给出 nnn 个固定的三维空间点的 mmm 张图像: xij=PiXj,i=1,...,m;j=1,...,n.x_{ij}=P_iX_j, i=1,...,m;j=1,...,n.xij​=Pi​Xj​,i=1,...,m;j=1,...,n. 从m×nm \times nm×n个对应关系 xijx_{ij}xij​ 中估计出mmm个投影矩阵 PiP_iPi​和 nnn 个三维空间中的点

SfM问题中的不确定性

如果我们对场景进行一个变换 QQQ,同时对相机矩阵进行其逆变换 Q−1Q^{-1}Q−1,则图像会保持不变: x=PX=(PQ−1)(QX)x=PX=(PQ^{-1})(QX)x=PX=(PQ−1)(QX) 因而SfM问题中会存在不确定性,通过一些约束可以减小不确定性。

(2)精细配准

经过粗糙配准,得到变换估计值,作为初始值

不断收敛和迭代 的进行精细配准,达到更加精准

基于最小二乘法 对 误差函数 进行最小化处理,反复迭代,直到均方差误差小于设定阈值

算法:ICP(迭代最近点)、SAA(模拟退火)、GA(遗传算法)

拓展:最小二乘法(最小平方法)(二乘就是平方的意思)

作用:误差估计、不确定度、系统辨识及预测、预报

数学优化技术,通过 最小化误差的平方和 寻找数据的最佳函数匹配

利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小

同一组数据,选择不同的 f(x)f(x)f(x) ,通过最小二乘法可以得到不一样的拟合曲线,最小二乘法,就是找一个最接近正确的fx

(3)全局配准

使用整幅图像 直接计算转换矩阵。

通过精准配准的结果,进行多帧图像的配准

序列配准:按照一定顺序

同步配准:一次性

减少误差,但消耗内存,时间复杂度也大

3.5 数据融合

配准后的深度信息,仍然是空间中散乱无序 的点云数据,只能展现物体部分信息。

对点云数据进行 融合,获得更加精细的重建模型

KinectFusion技术

以传感器初始位置为原点,构造体积网格,把点云空间,分割为一堆小的立方体,立方体称为:体素(Voxel)

为所有Voxel赋予SDF值(Signed Distance Field,有效距离场),隐式模拟表面

SDF:此Voxel到重建表面的最小距离值。

SDF大于0,表示Voxel在表面前

SDF小于0,表示Voxel在表面后

SDF接近0,表示Voxel贴近表面

高效实时,但可重建的空间范围小,因为需要大量空间存储大量的Voxel

TSDF(Truncated Signed Distance Field,截断符号距离场)

为了解决Voxel占用大量空间的问题。

TSDF方法,只存储 距离真实表面 较近的几层Voxel,而不是所有的

可以大幅度降低KinectFusion的内存消耗,减少模型的冗余点

3.6 表面生成

构造物体的可视 等值面

常用 体素级方法 直接处理原始的灰度体数据

体素级重建算法:MC(Marching Cube,移动立方体)

http://paulbourke.net/geometry/polygonise/

常用工具

VisualSFM是一个整合了特征提取、图像匹配、稀疏点云重建、稠密重建(需要单独下载CMVS/PMVS)的软件,,免费但不开源(不能用于商业用途)。基于一系列RGB图像,我们可以得到一个稠密的点云。

PMVS/CMVS用SFM的输出作为输入,利用稀疏的特征点云、图像和对应的相机位姿来重建稠密点云。可以用于商业目的。PMVS指的是将大的点云合理地分割、重建、拼接的过程。

MeshLab是常用的点云、网格显示和处理软件,内置了很多3D重建算法,能够进行基于点云的网格重建、简化等。

COLMAP是一个开源的软件,可以用于商业目的。类似于VisualSFM的前半部分,COLMAP能够用于从图像中得到稀疏特征点云和相机位姿。如果有CUDA的话,COLMAP也能用于稠密点云重建和表面重建。

Bundler是稀疏重建工具,然而效果可能不如VisualSFM

本文链接地址:https://www.jiuchutong.com/zhishi/298471.html 转载请保留说明!

上一篇:ChatGPT5是否会影响人类的发展和工作?

下一篇:实战:向人工智能看齐用Docker部署一个ChatGPT(人工智能科技向善)

  • 天翼云盘个人云和家庭云区别(天翼云盘使用说明)

    天翼云盘个人云和家庭云区别(天翼云盘使用说明)

  • vivos6是否有视频美颜功能(vivos6支持视频美颜吗)

    vivos6是否有视频美颜功能(vivos6支持视频美颜吗)

  • 华为p40的屏幕刷新率是多少(华为p40的屏幕刷新率怎么调)

    华为p40的屏幕刷新率是多少(华为p40的屏幕刷新率怎么调)

  • 苹果耳机怎么不弹窗(苹果耳机怎么不播报微信)

    苹果耳机怎么不弹窗(苹果耳机怎么不播报微信)

  • garageband是什么(garbage意思是什么)

    garageband是什么(garbage意思是什么)

  • 快手pk分数怎么算人民币(快手pk怎么得分)

    快手pk分数怎么算人民币(快手pk怎么得分)

  • pdf和图片的区别(pdf和图片的区别在哪里)

    pdf和图片的区别(pdf和图片的区别在哪里)

  • 华为p40听筒在什么位置

    华为p40听筒在什么位置

  • 一个微信怎么申请两个健康码(一个微信怎么申请两个王者号)

    一个微信怎么申请两个健康码(一个微信怎么申请两个王者号)

  • 台式电脑怎么设置屏保时间(台式电脑怎么设置密码)

    台式电脑怎么设置屏保时间(台式电脑怎么设置密码)

  • 移动硬盘无法弹出怎么办(移动硬盘无法弹出关机可以拔吗)

    移动硬盘无法弹出怎么办(移动硬盘无法弹出关机可以拔吗)

  • iphone12是5g吗(苹果12怎么开启5g网络)

    iphone12是5g吗(苹果12怎么开启5g网络)

  • 微信中引用是指什么意思(微信引用啥意思)

    微信中引用是指什么意思(微信引用啥意思)

  • 鼠标上的按键分别有什么功能(鼠标按键分类)

    鼠标上的按键分别有什么功能(鼠标按键分类)

  • vivo电话手表的卡怎么装(v.wo电话手表说明书)

    vivo电话手表的卡怎么装(v.wo电话手表说明书)

  • 手机可以登录网银吗(手机可以登录网页版淘宝吗)

    手机可以登录网银吗(手机可以登录网页版淘宝吗)

  • iPhone11pro有耳机孔吗(iphone11promax有耳机)

    iPhone11pro有耳机孔吗(iphone11promax有耳机)

  • 淘宝apass是什么意思(淘宝api是什么意思)

    淘宝apass是什么意思(淘宝api是什么意思)

  • 小米9什么时候更新miui11稳定版(小米9什么时候上市的价格)

    小米9什么时候更新miui11稳定版(小米9什么时候上市的价格)

  • vivos1充满电要多久(vivos1充电速度有多快)

    vivos1充满电要多久(vivos1充电速度有多快)

  • pr怎么添加滚动字幕(pr怎么做滚动字幕)

    pr怎么添加滚动字幕(pr怎么做滚动字幕)

  • 安卓怎么隐藏app图标(安卓怎么隐藏app名称)

    安卓怎么隐藏app图标(安卓怎么隐藏app名称)

  • 将十进制数35转换成二进制数是(十进制数35转换成无符号二进制整数是)

    将十进制数35转换成二进制数是(十进制数35转换成无符号二进制整数是)

  • 抖音怎么加字(抖音怎么加字幕和配音)

    抖音怎么加字(抖音怎么加字幕和配音)

  • 一拨电话就显示通话结束(为什么电话显示拨出状态)

    一拨电话就显示通话结束(为什么电话显示拨出状态)

  • 织梦自定义字段为图片(仅网址)远程图片保存只有数字的解决方法(织梦自适应模板怎么弄)

    织梦自定义字段为图片(仅网址)远程图片保存只有数字的解决方法(织梦自适应模板怎么弄)

  • 采购价格含税吗
  • 金税盘服务费全额抵扣
  • 汇算清缴期间发生的计入当期损益吗
  • 员工离职社保未及时减员怎么处理
  • 折旧费计算主要有几种方法?分别有什么特点?
  • 营业外支出影响利润
  • 收据四联分别叫什么
  • 年末为什么要结转应付现金股利
  • 企业购买雇主责任险会计分录
  • 计提当月社保会计分录
  • 异地施工如何缴工会经费
  • 会计政策变更与会计估计的审计
  • 法人向企业注资有风险吗
  • 免抵退附加
  • 代垫款收到的发票在哪里
  • 部分预收账款会计科目
  • 劳务派遣差额征税税率是多少
  • 可以给农村信用社的存折转账吗
  • 建筑企业在增值税方面新出台的政策
  • 在建工程摊销是啥意思
  • 进口应税消费品所支付的金额不包括
  • 建筑公司一般纳税人增值税税率
  • 政府补助企业的钱要交税吗
  • 税负率一般控制在多少合适
  • 交换房产土地如何交税
  • 电费预付之后又退回来了
  • QuickBooks - QuickBooks是什么进程 有什么用
  • 进项税和销项税怎么理解
  • 关于临时工工资标准的规定
  • 经营租赁固定资产体现实质重于形式
  • 工程竣工结算和决算的区别
  • 最小的成像传感器
  • laravel elementui
  • auto.js 教程
  • 申报个体经营所得税款所属期怎么填
  • 违约赔偿金要交税吗
  • 确认收入与结转成本会计分录怎么写
  • 预付账款和预收账款哪个是负债
  • 应付账款增值税怎么算
  • 土方专用发票
  • 工资如何记账
  • php调用变量
  • mysql随机密码怎么看
  • 进项税额转出冲减进项税额吗
  • 接待客户的住宿费计入什么科目
  • sqlserver2005使用
  • 免税农产品范围目录的文件
  • 员工的提成
  • 长期应收款的主要类型
  • 销售收入打折后怎么做账
  • 商业会计和财务会计
  • 实缴增值税比计提增值税少怎么做账务处理
  • 收到一张发票摘要怎么填
  • 售后租回会计处理分录
  • 用工资冲借款报税可以吗
  • 排序mysql
  • 开启 windows server
  • 下载win10 32位
  • linux promisc
  • windowssys
  • win7 系统设置
  • win10不能显示桌面
  • linux命令行是什么字体
  • xp启用telnet
  • hpl是什么文件
  • 如何关闭自动启动项目
  • 如何删除双系统中的linux系统
  • win8.1系统激活
  • windows找不到硬盘驱动器
  • linux windows转linux
  • win7升级到win10有无影响
  • win10重启更新的时候强制关机后会发生啥
  • 使用div+css进行网页布局的三种方式
  • javascript语言基础
  • sdk官方网站
  • unity最新教程
  • 说几条javascript的基本规范
  • 税务登记没去登记会怎么处罚
  • 进口酒类税收
  • 迅雷网站官网下载
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设