位置: IT常识 - 正文

深度学习|论文中常用的注意力模块合集(下)

编辑:rootadmin
深度学习|论文中常用的注意力模块合集(下)

推荐整理分享深度学习|论文中常用的注意力模块合集(下),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

注意力机制可以增加少量参数的情况下来提升计算精度和模型性能,在论文中常用的注意力模块合集(上)中介绍了三种注意力机制,它们分别是CA、CBAM和SE,均在目标检测和语义分割领域内能够提升模型的性能,废话不多说,直接开始讲解剩下的论文中常用的注意力模型。

1、有效通道注意力(Efficient Channel Attention Module, ECA)

深度学习中,降维不利于学习通道注意力,但是适当的跨通道交互可以在显著降低模型复杂性的同时保持性能。因此,这里的有效通道注意力(Efficient Channel Attention Module, ECA)模块是一种通过1D卷积实现无降维的局部跨信道交互策略,且可以自适应地选择1D卷积的核大小,以确定本地跨信道交互的覆盖范围,可以带来比较明显的性能增益,结构如图1所示。

图1 ECA结构图

ECA模块需要确定交互的覆盖范围来捕获本地跨信道交互,但手动调整交互的优化覆盖范围会导致耗费大量计算资源。由于组卷积改进CNN架构中的高维(低维)信道会共享给定固定数量组的长距离(短距离)卷积,因此,相互作用的覆盖范围(即1D卷积核的大小k)与通道维度C成比例,即k和C之间存在映射φ:

最简单的映射是线性函数,即φ(k)=γ*k−b,但是线性函数所表征的关系过于有限。另一方面,通道维度C常常是2的指数幂。故可将线性函数扩展为非线性函数:

因此,当给定通道维度C时,卷积核大小k可以通过下述公式进行自适应确定:

其中,

表示离t最近的奇数,这里将将γ和b分别设置为2和1。因此,通过使用非线性映射,高维通道具有更长距离的相互作用,而低维通道具有更短距离的相互作用。

2、双重注意力(Dual attention network,DANet)

双重注意网络以自适应地将局部特征与其全局依赖性集成,如图2所示,具体是分别在空间维度和通道维度上对语义相关性进行建模,空间维度上通过所有位置的特征加权和来选择性地聚集每个位置的特征,通道维度上通过整合所有通道特征图中的相关特征来选择性地强调相互依赖的通道特征。然后,将两个注意力模块的输出相加,以进一步改进特征表示,有利于获得更精确的分割结果。

图2 DANet模块

2.1 空间注意力模块

空间注意力模块能够在局部特征上建立丰富的上下文关系模型,同时可以将更广泛的上下文信息编码为局部特征,从而增强其表示能力。

如图3所示,给定局部特征

,将其输入卷积层以分别生成两个新的特征映射B和C,其中

,然后令它们重塑为

,其中N=H×W表示为像素数。之后,在C和B的转置之间执行矩阵乘法,并应用softmax层来计算空间注意力图

其中

是计算第i个位置对第j个位置的影响。两个位置的更相似的特征表示有助于它们之间的更大相关性。

同时,也将特征A输入到卷积层中,以生成新的特征映射

深度学习|论文中常用的注意力模块合集(下)

并依旧对其进行重塑为

。然后在D和S的转置之间执行矩阵乘法,并将结果重塑为

。最后,将其乘以比例系数α,并对特征A执行逐元素求和运算,以获得最终输出

,如下所示

其中α初始化为0,并逐渐分配更多权重,且由此式可以推断出,每个位置处的结果特征E是所有位置上的特征和原始特征的加权和。因此,通过全局上下文视图,并根据空间注意力图选择性地聚合上下文,使得相似的语义特征得到了增强,从而提高了类内紧凑性和语义一致性。

图3 空间注意力模块

2.2 通道注意力模块

高级特征的每个通道图都可以被视为一个特定类的响应,不同的语义响应彼此关联。通过利用通道图之间的相互依赖性,可以强调相互依赖的特征图,并改进特定语义的特征表示。

通道注意力模块如图3所示。与空间注意力模块不同,直接从原始特征

计算通道注意力图

,即先将A重塑为

,然后让A和A的转置之间进行矩阵相乘。最后,应用softmax层来获得通道注意力映射

其中

是计算第i个通道对第j个通道的影响。此外,在X和a的转置之间进行矩阵乘法,并将其结果重塑为

。然后,将结果乘以比例参数β,并与a执行逐元素求和运算,以获得最终输出

:

其中Β是从0逐渐开始学习权重。该式表明每个通道的最终特征是所有通道的特征和原始特征的加权和,也就是能够对特征图之间的长距离语义依赖性进行了建模,有利于提高特征的可分辨性。

图4 通道注意力模块

为了充分利用长程上下文信息,通过卷积层变换两个注意力模块的输出,并执行元素和以实现特征融合。最后,跟随卷积层以生成最终预测图。该注意力模块简单,可以直接插入现有的FCN等框架中来有效增强特征表示,且不会增加太多参数。

3、柔性注意力

柔性注意力通过捕获不同通道特征图之间的特征依赖关系,计算所有通道特征图的加权值,进行显式地建模特征通道之间地相关性。

结构如图5所示,对于输入任意的HxWxC的特征层F,然后分别进行空间的全局平均池化和最大池化,池化大小为HxW,得到两个1x1xC的通道描述行向量Favg和Fmax。共享两个全连接层(Total Fully Connected,TFC),采用Relu激活函数,拟合通道之间的复杂相关性。再将得到的两个通道描述行向量相加,经过Sigmoid激活函数得到1x1xC的特征权重向量w,将原始的特征层和特征权重向量w进行全乘操作,得到不同通道重要性不一样的特征层。在重新生成的特征图上通过滑动窗口找到感兴趣的区域,完成图像分割。

图4 柔性注意力模块

4、其他

以上是在图像中常用的注意力模块的方法,此外还有依据任务的多样性和复杂度来进行修改注意力模块,达到更轻便的架构,比如说论文里面会采用多尺度拼接、残差连接、扩张卷积、自监督机制、多头自注意力、与多样性正则化以及软、硬注意力结合等等一些方法来提高模型性能。

本文链接地址:https://www.jiuchutong.com/zhishi/297530.html 转载请保留说明!

上一篇:谈谈uni-app(谈谈社会公德普通话三分钟)

下一篇:CSS 获取当前可视屏幕高度--使用calc()方法动态计算宽度或者高度(css获取id)

  • 微信朋友圈视频最多发多长时间(微信朋友圈视频怎样发超过30秒)

    微信朋友圈视频最多发多长时间(微信朋友圈视频怎样发超过30秒)

  • 探探是啥(探探是啥平台)

    探探是啥(探探是啥平台)

  • iphone11什么时候开始发货(iphone11什么时候下架的)

    iphone11什么时候开始发货(iphone11什么时候下架的)

  • 闲鱼申请退款卖家不理(闲鱼申请退款卖家不同意)

    闲鱼申请退款卖家不理(闲鱼申请退款卖家不同意)

  • 快手怎么看我关注的人(快手怎么看我关注他他没关注我)

    快手怎么看我关注的人(快手怎么看我关注他他没关注我)

  • 500音浪抖音提现比例是多少(音浪提现多少钱)

    500音浪抖音提现比例是多少(音浪提现多少钱)

  • c语言中%s是什么意思(C语言中%s是什么意思)

    c语言中%s是什么意思(C语言中%s是什么意思)

  • 被加入微信黑名单是什么样(被加入微信黑名单怎么破解)

    被加入微信黑名单是什么样(被加入微信黑名单怎么破解)

  • 在拼多多上可以开直播吗(在拼多多上可以用医保卡刷吗)

    在拼多多上可以开直播吗(在拼多多上可以用医保卡刷吗)

  • pra-al00是华为什么型号(华为pra -al00x 是什么型号)

    pra-al00是华为什么型号(华为pra -al00x 是什么型号)

  • 怎么让两个视频同框(怎么让两个视频在一个画面)

    怎么让两个视频同框(怎么让两个视频在一个画面)

  • 华为p20pro支持内存卡扩展吗(华为p20pro可以用内存卡吗)

    华为p20pro支持内存卡扩展吗(华为p20pro可以用内存卡吗)

  • 天猫换货能换几次(天猫换货一次还能再换吗)

    天猫换货能换几次(天猫换货一次还能再换吗)

  • 华为mate30原装耳机什么型号(华为mate30原装耳机插上没反应)

    华为mate30原装耳机什么型号(华为mate30原装耳机插上没反应)

  • 拼多多怎么取消待拼单(拼多多怎么取消银行卡绑定)

    拼多多怎么取消待拼单(拼多多怎么取消银行卡绑定)

  • 苹果11相机怎么调滤镜(苹果11相机怎么设置)

    苹果11相机怎么调滤镜(苹果11相机怎么设置)

  • iphone11和7p哪个屏幕大(iphone11和苹果7p)

    iphone11和7p哪个屏幕大(iphone11和苹果7p)

  • 相册保密柜在哪里查看(相册保密柜在哪里vivox9)

    相册保密柜在哪里查看(相册保密柜在哪里vivox9)

  • 华为手机如何打开开发者选项(华为手机如何打开usb调试开关)

    华为手机如何打开开发者选项(华为手机如何打开usb调试开关)

  • 怎样修改qq密码(怎样修改qq密码和帐号)

    怎样修改qq密码(怎样修改qq密码和帐号)

  • 手机拦截的电话在哪里(手机拦截的电话都是什么)

    手机拦截的电话在哪里(手机拦截的电话都是什么)

  • ipad怎么样刷机(ipad咋样刷机)

    ipad怎么样刷机(ipad咋样刷机)

  • 图表库-Echarts(图表库网站)

    图表库-Echarts(图表库网站)

  • python带你采集桌游、剧本杀游戏店数据信息~(python 数据采集卡)

    python带你采集桌游、剧本杀游戏店数据信息~(python 数据采集卡)

  • 关税纳税申报时间
  • 年度部门决算报表系统路径
  • 融资租入的固定资产需要计提折旧吗
  • 取得研发样品收入
  • 小微企业和小规模纳税人的区别
  • 户口与工作地不一致,社保
  • 商品削价准备怎么算
  • 购入固定资产会影响营业利润吗
  • 公司美元账户收到美元要交税吗
  • 香港公司在大陆设立子公司
  • 董事费如何计算个人所得税
  • 增值税普票怎么验证真伪
  • 个人申请税务局开技术服务发票如何收费
  • 住房公积金做账怎么看交了哪些人
  • 建筑物占用的土地怎么算
  • 个体户生产经营所得怎么报税
  • 已抵扣未认证的发票
  • 一般纳税人简易计税会计分录
  • 应付福利费科目
  • 营业外收入冲减销售费用
  • 收货款时少收几十元,分录怎么做
  • Windows11预览体验
  • 智能路由器哪个牌子好
  • 微信小程序实现发红包
  • 应交税费进项税额在借方说明什么
  • 关于php中一些字符的数据
  • 单位车辆车船使用税滞纳金如何交
  • 姆科马齐国家公园
  • 个人所得税零报税怎么报
  • 出口的发票怎么开视频
  • Python深度学习实战:人脸关键点(15点)检测pytorch实现
  • 总结的拼音
  • php下载文件到指定目录
  • 对方代垫保险费算不算入账价值
  • phpcms怎么用
  • 报关单填制的运费是什么
  • 个体工商户加盟店名字和营业执照不符合
  • 蔬菜免税分录
  • 免抵退税额怎么计算城建税
  • 分公司非独立核算怎么做账
  • 微擎框架可以干什么
  • 小企业如何计提折旧
  • 个体户跨季领取发票流程
  • 个人向企业借贷违法吗
  • SQL查询中in和exists的区别分析
  • 母公司兼并子公司怎么办
  • 公司收到生育津贴不给员工
  • 无形资产土地入账日期怎么确定
  • 计提应付票据利息10000的会计分录
  • 研发费用辅助账模板 税务局
  • 申请享受免税资金的条件
  • 哪些业务需要计提国别风险准备金
  • 规范的建账原则是什么
  • MySQL为字段添加主键
  • xp恢复回收站删除文件
  • windowsserver2008r2忘记开机密码怎么办
  • 重装系统要注意哪些
  • 安装空调
  • ps1是什么文件
  • 用diskgenius硬盘格式转换怎么使用
  • win8使用体验
  • win7升级到win10有无影响
  • javascript中匿名函数
  • android kotlin开发
  • 查找最近文件操作记录
  • python的入门教程
  • unity的协程
  • 文章标题作用答题模板
  • linux哪些方法可以查看命令的详细信息
  • webpack配置文件在哪
  • 编写shell脚本,批量建立用户
  • python字符串大全
  • python的threading模块详解
  • 四川国家税务局官网
  • 房屋维修是什么职业
  • 南京税务登记查询官网
  • 商铺缴纳契税需要复印件吗
  • 河南地税税率怎么计算
  • 医务人员抗疫补助发放标准最新
  • 内蒙古个人所得税app下载
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设