位置: IT常识 - 正文

单目深度估计--深度学习篇(单目深度估计算法)

编辑:rootadmin
单目深度估计--深度学习篇 文章目录一:深度估计应用背景1.深度估计的定义2.深度估计的应用场景3.几种深度估计的方法4.使用深度学习估计的优缺点二:单目深度估计模型1.使用的数据集2.整体网络架构3.分模块解析Ⅰ:层级Ⅱ:ASPPⅢ:特征图减法操作Ⅳ:特征融合Ⅴ:Coarse-to-FineⅥ:权重参数预处理WS与pre_act操作Ⅶ:损失函数一:深度估计应用背景1.深度估计的定义

推荐整理分享单目深度估计--深度学习篇(单目深度估计算法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:单目深度估计评价指标,单目深度估计算法,单目深度估计网络,单目深度估计综述,单目深度估计网络,单目深度估计综述,单目深度估计网络,单目深度估计原理,内容如对您有帮助,希望把文章链接给更多的朋友!

假设我们有一张2d图片III,我们需要一个函数 FFF 来求取其相对应的深度ddd.这个过程可以写为:

d=F(I)d = F(I)d=F(I)

这里的深度信息ddd其实就代表着由3D物体投射而来的2D图像中每个像素点与相机的实际距离。

但是众所周知, FFF是非常复杂的函数,因为从单张图片中获取具体的深度相当于从二维图像推测出三维空间,即使人眼在两只眼睛来定位自然世界的物体的情况下也依然会有问题存在,更何况使用单张照片了。所以传统的深度估计在单目深度估计上效果并不好,人们更着重于研究立体视觉 (Stereo Vision),即从多张图片中得到深度信息.因为两张图片就可以根据视角的变化得到图片之间disparity的变化,从而达到求取深度的目的。话说多了,先往后看。

2.深度估计的应用场景

除了上面两张图片中提到的应用场景,深度估计还可以运用于3D重建,障碍物检测,SLAM等一系列需要深度信息的下游任务中。因此,可见深度估计往往作为上游任务存在,重要性不言而喻。

3.几种深度估计的方法

利用激光雷达或结构光在物体表面的反射获取深度点云 这种方法可谓是“土豪法”,直接利用传感器扫一扫,便可获得高精度点云深度信息,但是价格昂贵!

传统的双目测距 双目立体视觉,由两个摄像头组成,像人的眼睛能看到三维的物体,获取物体长度、宽度信息,和深度的信息。摄像头的位置是一般手动标定(比如张正友相机标定算法),然后通过目标点在图像坐标系和世界坐标系中的位置来推导相机内外参数矩阵的过程,往往是一个坐标转换的过程。

传统的单目测距 单目视觉是能获取二维的物体信息,即长度、宽度,所以如果想要测距,需要拍摄出几张不同角度(时序)的图像,再通过Mobileye单目测距等一系列方法,进行求解。同时,计算量复杂,而且精度不如双目高,往往是在条件艰难的时候使用。

4.使用深度学习估计的优缺点

前面铺垫完了几种传统领域的几种常见方法,现在开始聊聊今天的主角–深度学习单目估计。顾名思义,深度学习深度学习,第一反应End2End,把图像往训练好的网络里一扔,不需要任何人工参与,直接得出最后的深度图,一个词,方便!同时,我们只需要单目相机,一个词,成本低!

那有什么缺点呢,首先是80m以内的深度估计精度还行,但是再远误差就很大了,可见精度低、估计距离局限性,都是它的缺点。当然,还有一个深度学习一直绕不走的问题,需要大量训练集,在一些缺少训练数据的环境里显然是不容忽视的问题。

单目深度估计--深度学习篇(单目深度估计算法)

但是毕竟和时代前沿技术搭边了,咱们就来好好唠一唠,下面进入正题。

二:单目深度估计模型1.使用的数据集

这里讲解的深度估计模型,使用的是KITTI数据集,取景于城市、乡村的道路上,该数据集在多个研究领域内被广泛使用,具体见下图:

2.整体网络架构

深度估计模型是输入一张图像,输出一张包含深度信息的图片,所以是一种生成模型,那么必然离不开编码和解码这个核心过程了,见下图: 当然,真正的网络架构没有这么简单,但都是围绕编码-解码进行的,下面展示CVPR最近发布的一种网络架构,我将逐模块地讲解这个“庞然大物”:

3.分模块解析Ⅰ:层级

其实就是经过几层池化后,每次缩一半,这里的backbone使用的是Resnet101。和U-net等网络的操作相似,主要是为了后面的操作,如图:

Ⅱ:ASPP

作者在backbone的最后一个特征图做了ASPP,这里什么是ASPP不再赘述了,就是空洞卷积和SPP的结合,之所以用ASPP目的就是加点特征多样性,同时保留一定的分辨率(也是图像分割领域常规操作)。如图所示:

Ⅲ:特征图减法操作

在深度估计研究领域,物体的轮廓深度信息是一个挑战,作者为了有效解决这个问题,进行了神操作,将两张特征图A−BA-BA−B相减(特征图B是上采样后和A一样尺寸的特征图),提取出了差异特征,得到轮廓特征图L。如下图:

Ⅳ:特征融合

进行一顿叠加,首先充分利用高层特征图与本层特征图的融合,得到中间特征图X,来增加特征的多尺度性。接着拼接高层的预测结果R‘’和本层的轮廓图L,大杂烩乱炖后得到本层预测结果R。每层都是这样操作,如图所示:

Ⅴ:Coarse-to-Fine

最后是细节“雕琢”的阶段,对每一层的R进行融合,得到最后的预测结果R‘’‘,如图所示:

Ⅵ:权重参数预处理WS与pre_act操作

在真个网络中还加入了一些细节,首先是加入了权重标准化WS操作,让权重参数分布更均匀一些,不然经过ReLU后大量权重会被杀死(笔者提出疑问,那这样为什么不换一下激励函数,比如Mish,Leaky ReLU,Swish啥的??),接着还加入了pre_act,就是先对x进行ReLU,然后再进入卷积层,比较佛系,对于他们的实验,确实准确度有了质的飞跃,如下图所示:

Ⅶ:损失函数

化简后的损失函数中的 ddd 其实就是每个像素点预测深度和真实深度的差值,重点是后面的didjdi djdidj求和是什么意思,前面为什么还加了个负号。举个例子,大家就理解了,找出两个像素点,预测值和真实值的差值分别是d1d1d1和d2d2d2,如果两个差值都是负数,那么相乘是个正值,前面加个负号,那么代表不被惩罚,相反的如果两者异号则被惩罚。可见损失函数中这一项的目的是,希望得到的预测值要么都是低了一点,要么都高了一点,而不是这里预测大了,那里预测小了,这样效果其实更糟糕,模型更不可靠。

  至此我对利用深度学习进行单目深度估计的原理,进行了简单讲解,希望对大家有所帮助,有不懂的地方或者建议,欢迎大家在下方留言评论。

我是努力在CV泥潭中摸爬滚打的江南咸鱼,我们一起努力,不留遗憾!

本文链接地址:https://www.jiuchutong.com/zhishi/298405.html 转载请保留说明!

上一篇:vue3 中使用百度地图(vue3使用教程)

下一篇:opencv调用yolov7 yolov7 c++ yolov7转onnx opencv调用yolov7 onnx(opencv调用yolov8)

  • 小米11pro安兔兔跑分(小米11pro安兔兔跑多少分)

    小米11pro安兔兔跑分(小米11pro安兔兔跑多少分)

  • 哈罗顺风车要先付款吗(哈罗顺风车要先给钱吗?)

    哈罗顺风车要先付款吗(哈罗顺风车要先给钱吗?)

  • 录屏有杂音怎么办(录屏有杂音怎么回事)

    录屏有杂音怎么办(录屏有杂音怎么回事)

  • web测试主要包括哪几方面的测试(web测试要点及基本方法)

    web测试主要包括哪几方面的测试(web测试要点及基本方法)

  • 摄像头3.6mm和6mm的区别(摄像头3.6mm和6mm有什么区别)

    摄像头3.6mm和6mm的区别(摄像头3.6mm和6mm有什么区别)

  • 快手隐私设置红色是开还是关(快手隐私设置红包在哪里)

    快手隐私设置红色是开还是关(快手隐私设置红包在哪里)

  • oppoa92s有红外线吗(oppoa92s手机有没有红外线遥控功能)

    oppoa92s有红外线吗(oppoa92s手机有没有红外线遥控功能)

  • 微信号被永久封了手机号还能注册吗(闲鱼发微信号被永久封)

    微信号被永久封了手机号还能注册吗(闲鱼发微信号被永久封)

  • 全功能typec有哪些功能(全功能typec定义)

    全功能typec有哪些功能(全功能typec定义)

  • 苹果下载软件验证码出不来(苹果下载软件验证账单)

    苹果下载软件验证码出不来(苹果下载软件验证账单)

  • 华为nova6充电发热(nova6 5g充电发烫)

    华为nova6充电发热(nova6 5g充电发烫)

  • k歌里的歌怎么能转入抖音里(k歌里的歌怎么删除)

    k歌里的歌怎么能转入抖音里(k歌里的歌怎么删除)

  • 5gn是什么意思(5gn是5g吗)

    5gn是什么意思(5gn是5g吗)

  • 6sp低温关机怎么解决(苹果六温度低就关机)

    6sp低温关机怎么解决(苹果六温度低就关机)

  • 序列号d开头是啥意思(序列号d开头是最差的吗)

    序列号d开头是啥意思(序列号d开头是最差的吗)

  • 抖音粉丝勋章可以弄不显示么(抖音粉丝勋章可以消除吗?)

    抖音粉丝勋章可以弄不显示么(抖音粉丝勋章可以消除吗?)

  • 虎牙怎么发动态(虎牙上怎么发动态)

    虎牙怎么发动态(虎牙上怎么发动态)

  • 小米公交卡怎么退卡(小米公交卡怎么上传到云端)

    小米公交卡怎么退卡(小米公交卡怎么上传到云端)

  • 安装宽带需要电脑吗(安装宽带需要电脑调试吗)

    安装宽带需要电脑吗(安装宽带需要电脑调试吗)

  • iphone8怎么做动态壁纸(苹果八能不能设置动态壁纸)

    iphone8怎么做动态壁纸(苹果八能不能设置动态壁纸)

  • 什么叫企业上云(什么叫企业上云?为什么财务软件适合上云?)

    什么叫企业上云(什么叫企业上云?为什么财务软件适合上云?)

  • 华为p30怎么打开广角(华为p30怎么打开高清通话)

    华为p30怎么打开广角(华为p30怎么打开高清通话)

  • 苹果电脑启动不了了怎么回事(苹果电脑启动不了windows)

    苹果电脑启动不了了怎么回事(苹果电脑启动不了windows)

  • 街景地图全景怎么打开(街景地图怎么样)

    街景地图全景怎么打开(街景地图怎么样)

  • 华为p30pro出厂贴膜了吗(华为p30pro原厂膜要撕吗)

    华为p30pro出厂贴膜了吗(华为p30pro原厂膜要撕吗)

  • iphonexs正面闪灯哪里设置(苹果xs闪光灯不亮了原因)

    iphonexs正面闪灯哪里设置(苹果xs闪光灯不亮了原因)

  • 初级农产品免税原理
  • 材料用于非应税项目
  • 什么是非居民纳税人类别
  • 免税发票是普票还是专票
  • 开模具厂一年能挣多少钱
  • 如何查询对方是不是一般纳税人
  • 办理个体户营业执照需要什么条件
  • 冲减多计提的附加费
  • 所得税季报利润总额
  • 指定会计科目是
  • 结存材料物资会计分录怎么做?
  • 上个月未抵扣忘记做进项会计分录
  • 物业管理负责电路吗
  • 知识产权服务项目
  • 增值税应交税费科目
  • 公司对公银行账户可以注销吗
  • 企业征地补偿支出需要什么凭据做账?
  • 企业减免6%的税的营业范围有哪些?
  • 预缴0.2%企业所得税计算方法
  • 出口退税的办理影响出口吗
  • 筹建期装修费用计入什么科目
  • 企业出租屋顶不需要缴税!
  • 增值税申报尾差怎么做账
  • 哪些会计凭证不需要依法保存
  • 个人所得税累计减免税额为0
  • 出口报关单中有哪些内容
  • 每月的话费到下个月会扣吗
  • 怎样结转销售成本会计分录
  • 民间非营利组织会计账务处理
  • 金鱼花的养殖方法与注意事项
  • 直接材料成本差异账户在平时登记贷方登记
  • 领料单出库单区别
  • 个体工商户如何给员工交社保
  • 主动学习(Active Learning,AL)的理解以及代码流程讲解
  • python编程从入门到精通第三版
  • php5.6漏洞
  • 残疾人就业保障金怎么申报
  • 怎么样确认
  • 收入的确认规则
  • 税务企业类型分为哪几种
  • 现金流量表中支付的税费怎么填
  • 完全删除sql server2012
  • MySQL服务器系统支持哪些存储引擎
  • 受托方代销商品会计分录
  • 收到退回货物
  • 一般纳税人报税时间每月的多少号
  • 资产处置收益项目有哪些
  • 债券收益可以表现为三种形式
  • 无形资产如何摊销 当月还是下月
  • 收到货款确认收入还是开好发票确认收入
  • 出口退税进项票跨月勾选
  • 短期理财收益账务分录
  • 没有报关单可以出口吗
  • 商业企业采购商品会计分录
  • mssql查询语句
  • win8正版系统
  • xp系统玩游戏卡吗
  • XP系统连接VPN提示错误633:调制解调器已在使用的解决方法图文教程
  • linux 命令
  • win11怎么关闭系统防火墙
  • rtvscn95.exe - rtvscn95是什么进程 有什么用
  • 铁嘴银牙剧情简介
  • linux shell语句
  • net命令用法
  • perl后门,正向和反向!实例代码
  • jqueryvalidate验证
  • css ie6 ie7 ff的CSS hack使用技巧
  • python 如何
  • js面向对象面试题
  • javascript中array数组对象的含义及常用方法
  • js瀑布流布局
  • 简单的设计模式
  • 教程java
  • python写邮箱
  • js文本框只能输入字母
  • 社保扣缴客户端密码
  • 网上新办税务操作流程
  • 浙里办扫码在哪里
  • 纳税申报的期限是多久
  • 江西省国家税务局客运定额发票
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设