位置: IT常识 - 正文

【三维重建】三维重构基础知识、三维数据、重建流程(三维重建的主要步骤)

编辑:rootadmin
【三维重建】三维重构基础知识、三维数据、重建流程 文章目录1.在计算机内生成三维信息三维图像重构:四个坐标系坐标系转换内参矩阵外参矩阵图像采集设备的标定方法:2.相关概念(1)彩色图像和深度图像(2)PCL(3)点云数据(PCD)3.三维重建流程3.1 深度图像获取3.2 预处理3.3 点云计算3.4 点云配准(1)粗糙配准SfM问题中的不确定性(2)精细配准(3)全局配准3.5 数据融合KinectFusion技术TSDF(Truncated Signed Distance Field,截断符号距离场)3.6 表面生成常用工具1.在计算机内生成三维信息

推荐整理分享【三维重建】三维重构基础知识、三维数据、重建流程(三维重建的主要步骤),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:三维重建方法,三维重建视频教程,三维重建方法,三维重建方法,三维重建的四种方法,三维重建技术 各种方法简介,三维重建的四种常用方法,三维重建的四种常用方法,内容如对您有帮助,希望把文章链接给更多的朋友!

1.使用几何建模软件,通过人机交互生成人为控制下的三维:3DMAX、Maya、AutoCAD、UG

2.获取真实的物体形状:三维重构

三维图像重构:

摄像机获取图像,对图像分析处理,结合CV知识推导出现实中物体的三维信息

从二维图像到三维空间的重构(模仿生物两只眼睛观察物体产生的深度)

对二维图像中像素点的三维信息的恢复,尤其是深度信息

一般采用两个摄像机,对同一个物体进行采集。

单视图:信息不完全,需要利用经验知识

多视图:类似人的双目定位,相对比较容易

理想:对每个像素点的深度进行恢复

三维矢量图形 代替 三维位图

位图:记录一个个的点位,以像素为单位,放大后图像变得模糊不清

矢量图:不受分辨率影响,适合三维建模,线条顺滑,不逼真,无法产生多彩多变的图像

过程:

图像获取:获取二维,影响因素:光照,相机几何特性

摄像机标定:建立有效的成像模型,求解摄像机的内外参数,结合图像得到在空间中的三维点坐标

特征提取:特征点、特征线、区域。

大多以点为匹配基元,怎么提取与怎么匹配 紧密联系,提取时确认匹配方法

提取算法:

基于方向导数的方法

基于图像亮度对比关系的方法

基于数学形态学的方法

立体匹配:根据提取的特征,建立各个图像之间的对应关系,将同一个物理空间点,在不同的图像中的成像点,一一对应起来。影响因素:光照,噪声,物体特性,摄像机特性

三维重建:利用 匹配结果+摄像机标定的内外参数 进行重建

重构方法:

空间点的重建:最基本

空间直线、空间二次曲线的重建

极线约束法

全像素的三维重建:最理想,测量条件严格,仅限于某一具体对象

空间点的三维重建举例:

四个坐标系

1.像素坐标系:图像的每个像素点,存储在数组中,在图像左上角定义原点,建立图像坐标系uv,坐标分别对应数组中的存储位置 2.图像坐标系(ICS):用来表示像素在图像中的物理位置所建立的坐标系,原点一般在中心。上图xy。

3.摄像机坐标系(CCS):如图,XY轴与成像平面坐标系的xy平行,Z轴与光轴平行,垂直于图像,交点为图像的主点,也就是成像平面坐标系的原点。OO‘为焦距。 4.世界坐标系(WCS):在环境中选择一个参考坐标系,描述的是摄像机和物体的位置。与摄像机坐标系的关系用旋转矩阵R和平移向量t来描述。对应关系如下:

坐标系转换

记一个点在

世界坐标系(WCS,World Coordinate System)中的坐标为Xw=[xw,yw,zw]TX_w=[x_w,y_w,z_w]^TXw​=[xw​,yw​,zw​]T,

相机坐标系(CCS,Camera Coordinate System)的坐标为Xc=[xc,yc,zc]TX_c=[x_c,y_c,z_c]^TXc​=[xc​,yc​,zc​]T,

相机图像中的投影(ICS,Image Coordinate System)中的坐标为X=[u,v]TX=[u,v]^TX=[u,v]T

内参矩阵

表示相机和图像的关系

外参矩阵

相机和世界的变换

外参矩阵包括平移矩阵t 和 旋转矩阵R R为3x3, t为3x1

因此,结合上面两个,推导出 世界和图像的转换

图像采集设备的标定方法:

摄影测量学的传统设备标定方法:17个参数描述二维与三维的约束关系,计算量大,高精度

直接线性变换法:参数少,便于计算

2.相关概念(1)彩色图像和深度图像

彩色:RGB,像素点存储其亮度

深度:像素点存储该点到相机的距离,深度值

深度值只与该点到摄像机的距离有关,和光照,环境,方向都没有关系。

但是,由于物体表面反射,半透明或透明物体,深色物体,距离超过量程等因素,会造成深度图缺失

利用一张RGB+一张dept,可以补全

(2)PCL

Point Cloud Library 点云库

PCL框架包括很多先进的算法和典型的数据结构,如滤波、分割、配准、识别、追踪、可视化、模型拟合、表面重建等诸多功能

libpcl I/O:完成数据的输入、输出过程,如点云数据的读写; libpcl filters:完成数据采样、特征提取、参数拟合等过程; libpcl register:完成深度图像的配准过程,例如迭代最近点算法; libpcl surface:完成三维模型的表面生成过程,包括三角网格化、表面平滑等。

(3)点云数据(PCD)

扫描资料 以点的形式记录,点可以是 三维坐标、颜色、光照强度等。

点云包括几何信息和非几何信息:

几何信息:(能够被空间变换影响的,点的这部分维度叫做特征)如:点的坐标、曲面法线、法向量、切向量。

非几何信息:(不能被空间变换影响,这部分维度叫做描述子)如:颜色、温度、光照强度。

3.三维重建流程

比较常见的流程是: 提取图像特征(如SIFT、SURF等)->利用特征将图像计算图像之间的特征匹配->基于匹配的特征进行稀疏重建,得到各个图像的相机位姿和稀疏的特征点云(SfM)->基于相机位姿进行稠密重建,得到稠密点云(PMVS/CMVS)->基于点云重建网格、体素或者纹理

3.1 深度图像获取

同时获取深度图像和彩色图像

3.2 预处理

对深度图像进行去噪和修复(图像增强)

3.3 点云计算【三维重建】三维重构基础知识、三维数据、重建流程(三维重建的主要步骤)

预处理后的图像具有二维信息,像素点的值为深度信息,物体表面到传感器之间的直线距离

根据上面的结果,计算推导出 世界坐标系和图像像素坐标系之间的转换关系

3.4 点云配准

多个不同角度的图片,之间有一些公共部分

为了利用深度图像进行三维重建,需要对图像进行分析,求解各个图片之间的变换参数。

这个配准的过程,以公共部分为基准,把不同时间、角度、光照的多个图像,叠加匹配,到统一的坐标系中。

计算出每个图片相应的 平移向量与旋转矩阵,消除冗余信息

(1)粗糙配准

提取多个图片之间的特征点(特征点可以是:直线、拐点、曲线曲率;自定义符号、旋转图形、轴心)

根据特征方程 初步配准

粗糙配准后,点云和目标点云 将处于同一尺度与参考坐标系内

通过自动 记录坐标,得到粗糙配准的 初始值

算法:SFM(Structure From Motion)

主要用在单目重建,一段时间内获取连续图像,重建三维环境

双目:多个摄像机,拍摄同一时刻的同一物体,也称为静态立体视觉

单目:一个摄像机,但单个图像无法完成,需要一段时间的一系列图像,也称为动态立体视觉

从不同角度拍摄同一物体

固定传感器,旋转物体

旋转传感器,固定物体

单目根据实时性不同,分为 离线重建,在线重建

离线重建:如SFM

在线重建:与SLAM (simultaneous localization and mapping,同步定位与地图绘制)和VO有联系,分为渐进式重建、直接式重建。

渐进式:(深度滤波)利用下一时刻图像,不断融合之前的三维信息

SVO: [https://github.com/uzh-rpg/rpg_svo ](https://github.com/uzh-rpg/rpg_svo (深度滤波在depth_filter.cpp) (深度滤波在depth_filter.cpp里面)

REMODE:https://github.com/uzh-rpg/rpg_open_remode

直接式:(深度融合)利用若干时刻图像,一次性完成一个场景的三维重建。与SFM类似。但计算的图像少,因此实时性高。

SfM指的是给出 nnn 个固定的三维空间点的 mmm 张图像: xij=PiXj,i=1,...,m;j=1,...,n.x_{ij}=P_iX_j, i=1,...,m;j=1,...,n.xij​=Pi​Xj​,i=1,...,m;j=1,...,n. 从m×nm \times nm×n个对应关系 xijx_{ij}xij​ 中估计出mmm个投影矩阵 PiP_iPi​和 nnn 个三维空间中的点

SfM问题中的不确定性

如果我们对场景进行一个变换 QQQ,同时对相机矩阵进行其逆变换 Q−1Q^{-1}Q−1,则图像会保持不变: x=PX=(PQ−1)(QX)x=PX=(PQ^{-1})(QX)x=PX=(PQ−1)(QX) 因而SfM问题中会存在不确定性,通过一些约束可以减小不确定性。

(2)精细配准

经过粗糙配准,得到变换估计值,作为初始值

不断收敛和迭代 的进行精细配准,达到更加精准

基于最小二乘法 对 误差函数 进行最小化处理,反复迭代,直到均方差误差小于设定阈值

算法:ICP(迭代最近点)、SAA(模拟退火)、GA(遗传算法)

拓展:最小二乘法(最小平方法)(二乘就是平方的意思)

作用:误差估计、不确定度、系统辨识及预测、预报

数学优化技术,通过 最小化误差的平方和 寻找数据的最佳函数匹配

利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小

同一组数据,选择不同的 f(x)f(x)f(x) ,通过最小二乘法可以得到不一样的拟合曲线,最小二乘法,就是找一个最接近正确的fx

(3)全局配准

使用整幅图像 直接计算转换矩阵。

通过精准配准的结果,进行多帧图像的配准

序列配准:按照一定顺序

同步配准:一次性

减少误差,但消耗内存,时间复杂度也大

3.5 数据融合

配准后的深度信息,仍然是空间中散乱无序 的点云数据,只能展现物体部分信息。

对点云数据进行 融合,获得更加精细的重建模型

KinectFusion技术

以传感器初始位置为原点,构造体积网格,把点云空间,分割为一堆小的立方体,立方体称为:体素(Voxel)

为所有Voxel赋予SDF值(Signed Distance Field,有效距离场),隐式模拟表面

SDF:此Voxel到重建表面的最小距离值。

SDF大于0,表示Voxel在表面前

SDF小于0,表示Voxel在表面后

SDF接近0,表示Voxel贴近表面

高效实时,但可重建的空间范围小,因为需要大量空间存储大量的Voxel

TSDF(Truncated Signed Distance Field,截断符号距离场)

为了解决Voxel占用大量空间的问题。

TSDF方法,只存储 距离真实表面 较近的几层Voxel,而不是所有的

可以大幅度降低KinectFusion的内存消耗,减少模型的冗余点

3.6 表面生成

构造物体的可视 等值面

常用 体素级方法 直接处理原始的灰度体数据

体素级重建算法:MC(Marching Cube,移动立方体)

http://paulbourke.net/geometry/polygonise/

常用工具

VisualSFM是一个整合了特征提取、图像匹配、稀疏点云重建、稠密重建(需要单独下载CMVS/PMVS)的软件,,免费但不开源(不能用于商业用途)。基于一系列RGB图像,我们可以得到一个稠密的点云。

PMVS/CMVS用SFM的输出作为输入,利用稀疏的特征点云、图像和对应的相机位姿来重建稠密点云。可以用于商业目的。PMVS指的是将大的点云合理地分割、重建、拼接的过程。

MeshLab是常用的点云、网格显示和处理软件,内置了很多3D重建算法,能够进行基于点云的网格重建、简化等。

COLMAP是一个开源的软件,可以用于商业目的。类似于VisualSFM的前半部分,COLMAP能够用于从图像中得到稀疏特征点云和相机位姿。如果有CUDA的话,COLMAP也能用于稠密点云重建和表面重建。

Bundler是稀疏重建工具,然而效果可能不如VisualSFM

本文链接地址:https://www.jiuchutong.com/zhishi/298471.html 转载请保留说明!

上一篇:ChatGPT5是否会影响人类的发展和工作?

下一篇:实战:向人工智能看齐用Docker部署一个ChatGPT(人工智能科技向善)

  • 中国电信10010余额怎么自助查询(中国电信10010余额怎么自助查询四川省电)

    中国电信10010余额怎么自助查询(中国电信10010余额怎么自助查询四川省电)

  • 天玑800处理器是高端手机处理器吗(天玑800处理器是哪个公司的)

    天玑800处理器是高端手机处理器吗(天玑800处理器是哪个公司的)

  • 华为nova4e闹钟铃声怎么设置(nova4闹钟铃声怎么设置)

    华为nova4e闹钟铃声怎么设置(nova4闹钟铃声怎么设置)

  • 抖音不关注能聊天吗(抖音不关注能聊天吗?)

    抖音不关注能聊天吗(抖音不关注能聊天吗?)

  • 苹果x为什么下载不了小红书(苹果13为什么关不了机)

    苹果x为什么下载不了小红书(苹果13为什么关不了机)

  • 手机号被别人注册滴滴(手机号被别人注册微信了怎么办)

    手机号被别人注册滴滴(手机号被别人注册微信了怎么办)

  • windows7桌面图标没了(windows7桌面图标不见了怎么恢复)

    windows7桌面图标没了(windows7桌面图标不见了怎么恢复)

  • 华为8g运行内128g内存有哪些(华为8G运行内存好还是8+4g运内存好)

    华为8g运行内128g内存有哪些(华为8G运行内存好还是8+4g运内存好)

  • 华为p40pro微信美颜视频怎么开启(华为p40pro微信美颜设置)

    华为p40pro微信美颜视频怎么开启(华为p40pro微信美颜设置)

  • 抖音发送了关注请求怎么取消(抖音发送了关注请求说明对方没关注我吗)

    抖音发送了关注请求怎么取消(抖音发送了关注请求说明对方没关注我吗)

  • 进网许可与进网试用区别(进网许可证都是一样的吗)

    进网许可与进网试用区别(进网许可证都是一样的吗)

  • 钉钉发消息别人能看到吗(钉钉发消息别人看不到怎么办)

    钉钉发消息别人能看到吗(钉钉发消息别人看不到怎么办)

  • 华为荣耀20可不可以无线充电(华为荣耀可不可以隐藏应用)

    华为荣耀20可不可以无线充电(华为荣耀可不可以隐藏应用)

  • 手机新建文件夹怎么弄(苹果手机新建文件夹)

    手机新建文件夹怎么弄(苹果手机新建文件夹)

  • 拼多多拼单是什么规则(拼多多拼单是什么意思没成功)

    拼多多拼单是什么规则(拼多多拼单是什么意思没成功)

  • wifi版和插卡版的区别(wifi版和插卡版哪个更实用)

    wifi版和插卡版的区别(wifi版和插卡版哪个更实用)

  • iphone合约机和裸机的区别(合约机和裸机)

    iphone合约机和裸机的区别(合约机和裸机)

  • word文档内容被锁定(word文档内容被删除怎么恢复)

    word文档内容被锁定(word文档内容被删除怎么恢复)

  • 独立显卡有vga接口吗(独立显卡vga接口和hdmi接口)

    独立显卡有vga接口吗(独立显卡vga接口和hdmi接口)

  • b站好友是互相关注吗(b站的朋友怎么相互称呼)

    b站好友是互相关注吗(b站的朋友怎么相互称呼)

  • shevan是什么牌子(shein是什么牌子)

    shevan是什么牌子(shein是什么牌子)

  • 什么可以代替电容笔(什么可以代替电视机)

    什么可以代替电容笔(什么可以代替电视机)

  • 最小的电视棒是什么(最小的电视棒是多少寸)

    最小的电视棒是什么(最小的电视棒是多少寸)

  • 小规模纳税人预缴企业所得税
  • 表见代理通俗
  • 收到失业保险稳岗补贴会计分录
  • 周转材料登三栏式明细账吗
  • 公司的会议议程怎么写
  • 发票没用完可以申请超限量吗
  • 土地转让交哪些税种
  • 公司授权给公司有风险吗?
  • 印花税多缴纳怎么办
  • 未分配利润太多说明什么
  • 增值税专票开具要求
  • 土地增值税清算比例的计算
  • 子公司给母公司开票
  • 重复做了以前做过的梦
  • 未结清全额是逾期吗
  • 收到供应商发票的会计处理怎么做?
  • 福利费可以用什么科目
  • 收到个税手续费返还现金流量表
  • 个贷系统平账专户还款怎么做分录
  • 资产总额和净资产总额的区别
  • 补提上个月折旧会计分录
  • 新建厂房购入材料会计分录
  • 公司注销对外投资股权有效吗
  • 人力资源部报销购买办公家具款
  • 工会经费的会计分录2022
  • 其他权益工具投资公允价值变动怎么计算
  • 吸收合并公司后的债务处理
  • 支付销售佣金如何做账
  • windows10如何设置锁屏时间
  • 王者荣耀电脑版操作
  • 营改增后定额材料单价的组成包括
  • linux禁用root用户
  • 怎么让别人无法访问我的qq空间
  • php文件流
  • 房产契税如何计算2021年
  • kcleaner.exe是什么
  • 销售使用过的固定资产怎么填申报表
  • php的mysql_query
  • 在laravel中,界面文件应该放在以下哪个路径下
  • thinkphp跨域解决方案
  • 青龙面板库怎么用
  • vue3封装axios
  • 增值税发票可以作废重新开吗
  • php模拟post提交
  • 4、nerf(pytorch)
  • pyqt5如何安装
  • php 截断
  • 自建的不动产
  • 买商品赠送赠品怎么做账
  • 门诊收费票据能重新打印吗
  • sqlserver高并发性能差
  • 工资总额范围怎么填写
  • 未开票收入如何计提增值税
  • 销售增长率计算公式财务管理
  • 开多少平方超市赚钱
  • excel账务处理心得
  • 固定资产处置怎么报税
  • 基本生产成本科目应该按成本计算对象
  • 专票三流合一指哪三流
  • 公司购药品入什么科目
  • 委托收款商业汇票
  • windowsxp怎么用
  • windows一键隐藏桌面图标
  • linux常用命令 删除
  • vmstat命令
  • Mac如何设置自动锁屏
  • linux 垃圾
  • android开发范例实战宝典
  • jquery基本操作
  • flash 3 utility
  • Node.js+jade+mongodb+mongoose实现爬虫分离入库与生成静态文件的方法
  • 河南省地税网上营业厅
  • 浙江税务app不能网上办税
  • 车库契税怎么收费
  • 湖北商铺契税2021年新规
  • 广东税务app申报不小心点到了不再提示
  • 税控发票开票软件(金税盘版)事件代码768功能代码5?
  • 土地买卖谈判开场陈述
  • 成都国税工勤人员待遇
  • 巾帼文明岗主题内容
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设