位置: IT常识 - 正文

单目深度估计--深度学习篇(单目深度估计算法)

编辑:rootadmin
单目深度估计--深度学习篇 文章目录一:深度估计应用背景1.深度估计的定义2.深度估计的应用场景3.几种深度估计的方法4.使用深度学习估计的优缺点二:单目深度估计模型1.使用的数据集2.整体网络架构3.分模块解析Ⅰ:层级Ⅱ:ASPPⅢ:特征图减法操作Ⅳ:特征融合Ⅴ:Coarse-to-FineⅥ:权重参数预处理WS与pre_act操作Ⅶ:损失函数一:深度估计应用背景1.深度估计的定义

推荐整理分享单目深度估计--深度学习篇(单目深度估计算法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:单目深度估计评价指标,单目深度估计算法,单目深度估计网络,单目深度估计综述,单目深度估计网络,单目深度估计综述,单目深度估计网络,单目深度估计原理,内容如对您有帮助,希望把文章链接给更多的朋友!

假设我们有一张2d图片III,我们需要一个函数 FFF 来求取其相对应的深度ddd.这个过程可以写为:

d=F(I)d = F(I)d=F(I)

这里的深度信息ddd其实就代表着由3D物体投射而来的2D图像中每个像素点与相机的实际距离。

但是众所周知, FFF是非常复杂的函数,因为从单张图片中获取具体的深度相当于从二维图像推测出三维空间,即使人眼在两只眼睛来定位自然世界的物体的情况下也依然会有问题存在,更何况使用单张照片了。所以传统的深度估计在单目深度估计上效果并不好,人们更着重于研究立体视觉 (Stereo Vision),即从多张图片中得到深度信息.因为两张图片就可以根据视角的变化得到图片之间disparity的变化,从而达到求取深度的目的。话说多了,先往后看。

2.深度估计的应用场景

除了上面两张图片中提到的应用场景,深度估计还可以运用于3D重建,障碍物检测,SLAM等一系列需要深度信息的下游任务中。因此,可见深度估计往往作为上游任务存在,重要性不言而喻。

3.几种深度估计的方法

利用激光雷达或结构光在物体表面的反射获取深度点云 这种方法可谓是“土豪法”,直接利用传感器扫一扫,便可获得高精度点云深度信息,但是价格昂贵!

传统的双目测距 双目立体视觉,由两个摄像头组成,像人的眼睛能看到三维的物体,获取物体长度、宽度信息,和深度的信息。摄像头的位置是一般手动标定(比如张正友相机标定算法),然后通过目标点在图像坐标系和世界坐标系中的位置来推导相机内外参数矩阵的过程,往往是一个坐标转换的过程。

传统的单目测距 单目视觉是能获取二维的物体信息,即长度、宽度,所以如果想要测距,需要拍摄出几张不同角度(时序)的图像,再通过Mobileye单目测距等一系列方法,进行求解。同时,计算量复杂,而且精度不如双目高,往往是在条件艰难的时候使用。

4.使用深度学习估计的优缺点

前面铺垫完了几种传统领域的几种常见方法,现在开始聊聊今天的主角–深度学习单目估计。顾名思义,深度学习深度学习,第一反应End2End,把图像往训练好的网络里一扔,不需要任何人工参与,直接得出最后的深度图,一个词,方便!同时,我们只需要单目相机,一个词,成本低!

那有什么缺点呢,首先是80m以内的深度估计精度还行,但是再远误差就很大了,可见精度低、估计距离局限性,都是它的缺点。当然,还有一个深度学习一直绕不走的问题,需要大量训练集,在一些缺少训练数据的环境里显然是不容忽视的问题。

单目深度估计--深度学习篇(单目深度估计算法)

但是毕竟和时代前沿技术搭边了,咱们就来好好唠一唠,下面进入正题。

二:单目深度估计模型1.使用的数据集

这里讲解的深度估计模型,使用的是KITTI数据集,取景于城市、乡村的道路上,该数据集在多个研究领域内被广泛使用,具体见下图:

2.整体网络架构

深度估计模型是输入一张图像,输出一张包含深度信息的图片,所以是一种生成模型,那么必然离不开编码和解码这个核心过程了,见下图: 当然,真正的网络架构没有这么简单,但都是围绕编码-解码进行的,下面展示CVPR最近发布的一种网络架构,我将逐模块地讲解这个“庞然大物”:

3.分模块解析Ⅰ:层级

其实就是经过几层池化后,每次缩一半,这里的backbone使用的是Resnet101。和U-net等网络的操作相似,主要是为了后面的操作,如图:

Ⅱ:ASPP

作者在backbone的最后一个特征图做了ASPP,这里什么是ASPP不再赘述了,就是空洞卷积和SPP的结合,之所以用ASPP目的就是加点特征多样性,同时保留一定的分辨率(也是图像分割领域常规操作)。如图所示:

Ⅲ:特征图减法操作

在深度估计研究领域,物体的轮廓深度信息是一个挑战,作者为了有效解决这个问题,进行了神操作,将两张特征图A−BA-BA−B相减(特征图B是上采样后和A一样尺寸的特征图),提取出了差异特征,得到轮廓特征图L。如下图:

Ⅳ:特征融合

进行一顿叠加,首先充分利用高层特征图与本层特征图的融合,得到中间特征图X,来增加特征的多尺度性。接着拼接高层的预测结果R‘’和本层的轮廓图L,大杂烩乱炖后得到本层预测结果R。每层都是这样操作,如图所示:

Ⅴ:Coarse-to-Fine

最后是细节“雕琢”的阶段,对每一层的R进行融合,得到最后的预测结果R‘’‘,如图所示:

Ⅵ:权重参数预处理WS与pre_act操作

在真个网络中还加入了一些细节,首先是加入了权重标准化WS操作,让权重参数分布更均匀一些,不然经过ReLU后大量权重会被杀死(笔者提出疑问,那这样为什么不换一下激励函数,比如Mish,Leaky ReLU,Swish啥的??),接着还加入了pre_act,就是先对x进行ReLU,然后再进入卷积层,比较佛系,对于他们的实验,确实准确度有了质的飞跃,如下图所示:

Ⅶ:损失函数

化简后的损失函数中的 ddd 其实就是每个像素点预测深度和真实深度的差值,重点是后面的didjdi djdidj求和是什么意思,前面为什么还加了个负号。举个例子,大家就理解了,找出两个像素点,预测值和真实值的差值分别是d1d1d1和d2d2d2,如果两个差值都是负数,那么相乘是个正值,前面加个负号,那么代表不被惩罚,相反的如果两者异号则被惩罚。可见损失函数中这一项的目的是,希望得到的预测值要么都是低了一点,要么都高了一点,而不是这里预测大了,那里预测小了,这样效果其实更糟糕,模型更不可靠。

  至此我对利用深度学习进行单目深度估计的原理,进行了简单讲解,希望对大家有所帮助,有不懂的地方或者建议,欢迎大家在下方留言评论。

我是努力在CV泥潭中摸爬滚打的江南咸鱼,我们一起努力,不留遗憾!

本文链接地址:https://www.jiuchutong.com/zhishi/298405.html 转载请保留说明!

上一篇:vue3 中使用百度地图(vue3使用教程)

下一篇:opencv调用yolov7 yolov7 c++ yolov7转onnx opencv调用yolov7 onnx(opencv调用yolov8)

  • 零税率是指
  • 流转税包括哪些税种2022
  • 个人所得税是什么费用
  • 一张记账凭证写两个分录
  • 税控盘交服务费
  • 公司车买的保险怎么查电子保单
  • 劳务发票税率营改增后是多少?
  • 返利回收期怎么计算
  • 政府转账捐赠怎么做分录
  • 公司外来人员进入公司
  • 内账价税分离余额怎么处理
  • 一般户开户行可以开增值税专票么
  • 公司为员工承担房租
  • 企业购置房产交什么税
  • 经营性现金净流量是什么意思
  • 银行账户注销以后预留印鉴
  • 公司账上的钱可以转给法人账上吗
  • 房地产企业闲置土地怎么处理
  • 需要缴纳消费税的委托加工存货,由受托方
  • 多转出的进项税怎么做账
  • 自查以前年度补税需调帐吗
  • mac cpu
  • linux模块的概念
  • git pull远程
  • php foreach()
  • vuejs动态加载组件
  • 代扣代缴企业所得税账务处理
  • 预定义变量是什么
  • 如何用python制作人工智能
  • CV攻城狮入门VIT(vision transformer)之旅——VIT原理详解篇
  • php隐藏图片地址
  • 免税农产品包括30万元吗
  • vue3+ts+MicroApp实战教程
  • 二季度盈利三季度亏损
  • 无偿提供建筑服务缴纳增值税
  • 净营业周期为负数
  • 关联企业借款费用
  • 增值税专票开户行账号错了,可以抵扣吗
  • mysql8.0存储过程
  • 个人对企业的例子
  • 预收账款挂账多长时间必须确认收入
  • 房地产企业 预缴
  • 社会保险与商业人身保险的区别有
  • 商场联营方案
  • 公司担保无效的后果
  • 自产产品用于捐赠是否要确认收入
  • 财务费用怎么用
  • 房地产开发企业分为几个等级
  • 赠品当商品卖
  • 待抵扣税额转入进项税额的分录
  • 挂靠工程项目预交税金的会计分录如何做?
  • 福利费的范畴
  • mysql mod
  • sql server 字符串操作
  • 教程图解
  • 如何知道自己的邮箱号
  • 验证win10
  • vim配置语法高亮
  • Win7系统安装方法
  • 微软商城会员
  • win7磁盘空间不足怎么清理文件
  • win7怎么看磁盘
  • 微软星期二补丁
  • ExtJS4 Grid改变单元格背景颜色及Column render学习
  • jQuery实现checkbox即点即改批量删除及中间遇到的坑
  • 安装perl模块
  • 谷歌批量下载插件
  • js for循环给数组赋值
  • jQuery插件开发
  • linux安全加固的内容是什么
  • 粒子特效优化
  • android的数据储存方式
  • django 表单
  • 国家税务总局网站官网福建税务局
  • 如何找回电子税务局企业密码
  • 财税公司销售工作好做么
  • 税务总局官网投诉
  • 税务和海关哪个单位比较好
  • 福州市税务局领导班子成员名单
  • 国内进口税最低是哪里
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设