位置: IT常识 - 正文

深度学习|论文中常用的注意力模块合集(下)

编辑:rootadmin
深度学习|论文中常用的注意力模块合集(下)

推荐整理分享深度学习|论文中常用的注意力模块合集(下),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

注意力机制可以增加少量参数的情况下来提升计算精度和模型性能,在论文中常用的注意力模块合集(上)中介绍了三种注意力机制,它们分别是CA、CBAM和SE,均在目标检测和语义分割领域内能够提升模型的性能,废话不多说,直接开始讲解剩下的论文中常用的注意力模型。

1、有效通道注意力(Efficient Channel Attention Module, ECA)

深度学习中,降维不利于学习通道注意力,但是适当的跨通道交互可以在显著降低模型复杂性的同时保持性能。因此,这里的有效通道注意力(Efficient Channel Attention Module, ECA)模块是一种通过1D卷积实现无降维的局部跨信道交互策略,且可以自适应地选择1D卷积的核大小,以确定本地跨信道交互的覆盖范围,可以带来比较明显的性能增益,结构如图1所示。

图1 ECA结构图

ECA模块需要确定交互的覆盖范围来捕获本地跨信道交互,但手动调整交互的优化覆盖范围会导致耗费大量计算资源。由于组卷积改进CNN架构中的高维(低维)信道会共享给定固定数量组的长距离(短距离)卷积,因此,相互作用的覆盖范围(即1D卷积核的大小k)与通道维度C成比例,即k和C之间存在映射φ:

最简单的映射是线性函数,即φ(k)=γ*k−b,但是线性函数所表征的关系过于有限。另一方面,通道维度C常常是2的指数幂。故可将线性函数扩展为非线性函数:

因此,当给定通道维度C时,卷积核大小k可以通过下述公式进行自适应确定:

其中,

表示离t最近的奇数,这里将将γ和b分别设置为2和1。因此,通过使用非线性映射,高维通道具有更长距离的相互作用,而低维通道具有更短距离的相互作用。

2、双重注意力(Dual attention network,DANet)

双重注意网络以自适应地将局部特征与其全局依赖性集成,如图2所示,具体是分别在空间维度和通道维度上对语义相关性进行建模,空间维度上通过所有位置的特征加权和来选择性地聚集每个位置的特征,通道维度上通过整合所有通道特征图中的相关特征来选择性地强调相互依赖的通道特征。然后,将两个注意力模块的输出相加,以进一步改进特征表示,有利于获得更精确的分割结果。

图2 DANet模块

2.1 空间注意力模块

空间注意力模块能够在局部特征上建立丰富的上下文关系模型,同时可以将更广泛的上下文信息编码为局部特征,从而增强其表示能力。

如图3所示,给定局部特征

,将其输入卷积层以分别生成两个新的特征映射B和C,其中

,然后令它们重塑为

,其中N=H×W表示为像素数。之后,在C和B的转置之间执行矩阵乘法,并应用softmax层来计算空间注意力图

其中

是计算第i个位置对第j个位置的影响。两个位置的更相似的特征表示有助于它们之间的更大相关性。

同时,也将特征A输入到卷积层中,以生成新的特征映射

深度学习|论文中常用的注意力模块合集(下)

并依旧对其进行重塑为

。然后在D和S的转置之间执行矩阵乘法,并将结果重塑为

。最后,将其乘以比例系数α,并对特征A执行逐元素求和运算,以获得最终输出

,如下所示

其中α初始化为0,并逐渐分配更多权重,且由此式可以推断出,每个位置处的结果特征E是所有位置上的特征和原始特征的加权和。因此,通过全局上下文视图,并根据空间注意力图选择性地聚合上下文,使得相似的语义特征得到了增强,从而提高了类内紧凑性和语义一致性。

图3 空间注意力模块

2.2 通道注意力模块

高级特征的每个通道图都可以被视为一个特定类的响应,不同的语义响应彼此关联。通过利用通道图之间的相互依赖性,可以强调相互依赖的特征图,并改进特定语义的特征表示。

通道注意力模块如图3所示。与空间注意力模块不同,直接从原始特征

计算通道注意力图

,即先将A重塑为

,然后让A和A的转置之间进行矩阵相乘。最后,应用softmax层来获得通道注意力映射

其中

是计算第i个通道对第j个通道的影响。此外,在X和a的转置之间进行矩阵乘法,并将其结果重塑为

。然后,将结果乘以比例参数β,并与a执行逐元素求和运算,以获得最终输出

:

其中Β是从0逐渐开始学习权重。该式表明每个通道的最终特征是所有通道的特征和原始特征的加权和,也就是能够对特征图之间的长距离语义依赖性进行了建模,有利于提高特征的可分辨性。

图4 通道注意力模块

为了充分利用长程上下文信息,通过卷积层变换两个注意力模块的输出,并执行元素和以实现特征融合。最后,跟随卷积层以生成最终预测图。该注意力模块简单,可以直接插入现有的FCN等框架中来有效增强特征表示,且不会增加太多参数。

3、柔性注意力

柔性注意力通过捕获不同通道特征图之间的特征依赖关系,计算所有通道特征图的加权值,进行显式地建模特征通道之间地相关性。

结构如图5所示,对于输入任意的HxWxC的特征层F,然后分别进行空间的全局平均池化和最大池化,池化大小为HxW,得到两个1x1xC的通道描述行向量Favg和Fmax。共享两个全连接层(Total Fully Connected,TFC),采用Relu激活函数,拟合通道之间的复杂相关性。再将得到的两个通道描述行向量相加,经过Sigmoid激活函数得到1x1xC的特征权重向量w,将原始的特征层和特征权重向量w进行全乘操作,得到不同通道重要性不一样的特征层。在重新生成的特征图上通过滑动窗口找到感兴趣的区域,完成图像分割。

图4 柔性注意力模块

4、其他

以上是在图像中常用的注意力模块的方法,此外还有依据任务的多样性和复杂度来进行修改注意力模块,达到更轻便的架构,比如说论文里面会采用多尺度拼接、残差连接、扩张卷积、自监督机制、多头自注意力、与多样性正则化以及软、硬注意力结合等等一些方法来提高模型性能。

本文链接地址:https://www.jiuchutong.com/zhishi/297530.html 转载请保留说明!

上一篇:谈谈uni-app(谈谈社会公德普通话三分钟)

下一篇:CSS 获取当前可视屏幕高度--使用calc()方法动态计算宽度或者高度(css获取id)

  • excel怎么批量隔一行插一行(excel怎么批量隔列粘贴)

    excel怎么批量隔一行插一行(excel怎么批量隔列粘贴)

  • 天猫精灵会员怎么取消自动续费(天猫精灵会员怎么退)

    天猫精灵会员怎么取消自动续费(天猫精灵会员怎么退)

  • 花呗借呗上新了哪些功能(花呗借呗最新通知)

    花呗借呗上新了哪些功能(花呗借呗最新通知)

  • 电脑屏上一个图标都没有了怎么办(电脑屏上一个图标不见了)

    电脑屏上一个图标都没有了怎么办(电脑屏上一个图标不见了)

  • 手机相册里的照片误删怎么恢复(手机相册里的照片会泄露吗)

    手机相册里的照片误删怎么恢复(手机相册里的照片会泄露吗)

  • 为什么库乐队设置不了铃声(为什么库乐队设置的铃声音质都不好)

    为什么库乐队设置不了铃声(为什么库乐队设置的铃声音质都不好)

  • 快手怎么带货需要什么条件(快手带货如何操作)

    快手怎么带货需要什么条件(快手带货如何操作)

  • cad转pdf文字不显示怎么办(cad转pdf无法显示文字怎么办)

    cad转pdf文字不显示怎么办(cad转pdf无法显示文字怎么办)

  • ctrl加什么是息屏?

    ctrl加什么是息屏?

  • 漏液屏会扩散吗(漏液屏会消失吗)

    漏液屏会扩散吗(漏液屏会消失吗)

  • 华为p30怎么扫描文件(华为P30怎么扫描身份证)

    华为p30怎么扫描文件(华为P30怎么扫描身份证)

  • 一个微信可以在两个手机上登录吗(一个微信可以在两台电脑登录吗)

    一个微信可以在两个手机上登录吗(一个微信可以在两台电脑登录吗)

  • 华为nova5信号不好怎么解决(华为nova5信号不好是怎么回事)

    华为nova5信号不好怎么解决(华为nova5信号不好是怎么回事)

  • 微信好友怎么隐藏起来(微信好友怎么隐藏起来不被发现)

    微信好友怎么隐藏起来(微信好友怎么隐藏起来不被发现)

  • 笔记本的厚度多少厘米(笔记本的厚度大约多少厘米)

    笔记本的厚度多少厘米(笔记本的厚度大约多少厘米)

  • 打开旁白怎么关闭(打开旁白后怎么关闭)

    打开旁白怎么关闭(打开旁白后怎么关闭)

  • 苹果11手机耳机插孔在哪里(苹果11手机耳机插上去还是外放声音)

    苹果11手机耳机插孔在哪里(苹果11手机耳机插上去还是外放声音)

  • 交换式局域网的核心设备是(交换式局域网的核心是什么)

    交换式局域网的核心设备是(交换式局域网的核心是什么)

  • 亚马逊上架产品的步骤(亚马逊上架产品禁止显示的原因)

    亚马逊上架产品的步骤(亚马逊上架产品禁止显示的原因)

  • 手机qq音乐怎么调倍速(手机qq音乐怎么转换mp3格式)

    手机qq音乐怎么调倍速(手机qq音乐怎么转换mp3格式)

  • 抖音怎么删通讯录推荐(抖音通讯录怎么删除联系人)

    抖音怎么删通讯录推荐(抖音通讯录怎么删除联系人)

  • 怎么添加候补订单(如何添加候补)

    怎么添加候补订单(如何添加候补)

  • 怎样导出手机中的QQ聊天记录(怎样导出手机中的照片视频教程)

    怎样导出手机中的QQ聊天记录(怎样导出手机中的照片视频教程)

  • 微信如何更改启动画面(微信如何更改启动界面)

    微信如何更改启动画面(微信如何更改启动界面)

  • qq群发助手在哪(qq群发助手在哪里弄)

    qq群发助手在哪(qq群发助手在哪里弄)

  • MediaAccK.exe是什么进程 有什么用 MediaAccK进程查询(mediacachefiles什么意思)

    MediaAccK.exe是什么进程 有什么用 MediaAccK进程查询(mediacachefiles什么意思)

  • Js之鼠标事件-鼠标事件(js鼠标事件包括哪几种)

    Js之鼠标事件-鼠标事件(js鼠标事件包括哪几种)

  • 个人所得税本期收入是扣完保险吗
  • 建筑工程机械服务有限公司企业
  • 未收回的货款是企业资产吗
  • 开给个人的普票购买方怎么写
  • 销售费用与管理的关系
  • 资产负债表存货为负数原因
  • 个体工商户生产经营所得怎么申报
  • 上年度没有计提企业所得税
  • 收到施工方给红包怎样处理
  • 企业收到跨年度的政府补贴款,是否计入当年企业所得税
  • 小规模纳税人纳税申报流程
  • 增值税普通发票可以抵扣吗
  • 工资分两次发的风险是什么?
  • 偷税罪立案标准最新
  • 房产税税率和应纳税额
  • 专票红冲后的账务处理
  • 工会经费减除项填什么
  • 房产税的常见四大检查点
  • 附加税费计提表
  • 附加税城建税税率
  • 政府采购 汽车
  • 商业银行流动性覆盖率的最低监管标准为
  • 收到退还的工会经费进什么科目
  • 微软发布新windows
  • photoshop人像磨皮方法
  • 事业单位福利发放时间
  • 股份公司注销流程及费用
  • infotainment.exe
  • 商品换购是什么意思
  • vue2.0解决跨域问题
  • php数组函数 菜鸟
  • php制作数字验证码
  • 结转未交增值税为什么是零
  • 企业生产车间发生的直接材料费用属于生产费用
  • 股东分红放到哪个会计科目
  • 银行收付款凭证是什么
  • 职工教育经费支出比例
  • python numpy 删除元素
  • 关于python序列类型
  • 报税中的利润表怎么填
  • 贴现金额的会计分录
  • 专项附加扣除哪种申报方式好
  • mysql all
  • 调整以前年度费用怎么做账
  • 发生的计提费用没有发生怎么办
  • 油费预付卡如何办理
  • 出口抵减内销产品应纳税额分录
  • 研发支出费用化对财务报表的影响
  • 查账征收与核定征收在哪里看
  • 非在职人员和其他人员的区别
  • 收到政府的奖励企业需要纳税吗?
  • 电信增值服务费会计科目
  • 库存商品盘盈是什么意思
  • 进项大于销项的原因
  • 销售配件模式
  • 居间活动费用由谁负担
  • 固定资产处置有净值怎么处理
  • 实收资本的主要用途
  • 软件开发技术服务合同
  • 税控盘网上抄报税的步骤
  • 应用程序发生异常如何解决
  • 登录ubuntu桌面
  • linux nls
  • fedora s7
  • u启动开机启动快捷键
  • WinCinemaMgr.exe - WinCinemaMgr是什么进程
  • win10 20h2体验
  • centos7.6和7.7
  • win10系统浏览器怎么换成ie
  • windows7的开机启动项在哪里
  • 开关光驱是平移还是旋转
  • linux安装步骤
  • skype登录不了一直转圈
  • onclick和onclientclick
  • jquery.ui
  • python语言怎么用
  • javascript中var的作用
  • class在js中的实际运用
  • 外经证注销网上操作
  • 工程审计费计入什么科目
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设