位置: IT常识 - 正文

Attentional Feature Fusion 注意力特征融合

编辑:rootadmin
Attentional Feature Fusion 注意力特征融合 Attentional Feature Fusion 注意力特征融合

推荐整理分享Attentional Feature Fusion 注意力特征融合,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

最近看到一篇比较不错的特征融合方法,基于注意力机制的 AAF ,与此前的 SENet 、SKNet 等很相似,但 AFF 性能优于它们,并且适用于更广泛的场景,包括短和长跳连接以及在 Inception 层内引起的特征融合。AFF 是由南航提出的注意力特征融合,即插即用!

本篇博客主要参考自知乎作者 OucQxw ,知乎原文地址:https://zhuanlan.zhihu.com/p/424031096

论文下载地址:https://arxiv.org/pdf/2009.14082.pdf

Github代码地址:https://github.com/YimianDai/open-aff

一、Motivation

特征融合是指来自不同层次或分支的特征的组合,是现代神经网络体系结构中无所不在的一部分。它通常通过简单线性的操作(例如:求和或者串联来实现),但这可能不是最佳的选择。本文提出了一个统一的通用方案,即注意力特征融合( AFF ),该方案适用于大多数常见场景,包括短和长跳连接以及在 Inception 层内引起的特征融合。

为了更好地融合语义和尺度不一致的特征,我们提出了多尺度通道注意力模块 ( MS-CAM ),该模块解决了融合不同尺度特征时出现的问题。我们还证明了初始特征融合可能会成为瓶颈,并提出了迭代注意力特征融合模块(iAFF )来缓解此问题。

近年发展的 SKNet 和 ResNeSt 注意力特征融合存在的问题:场景限制:SKNet 和 ResNeSt 只关注同一层的特征选择,无法做到跨层特征融合。简单的初始集成 :为了将得到的特征提供给注意力模块,SKNet 通过相加来进行特征融合,而这些特征在规模和语义上可能存在很大的不一致性,对融合权值的质量也有很大的影响,使得模型表现受限。偏向上下文聚合尺度:SKNet 和 ResNeSt 中的融合权值是通过全局通道注意机制生成的,对于分布更全局的信息,该机制更受青睐,但是对于小目标效果就不太好。是否可以通过神经网络动态地融合不同尺度的特征?本文的贡献,针对于上述三个问题,提出以下解决办法:注意特征融合模块(AFF),适用于大多数常见场景,包括由short and long skip connections以及在Inception层内引起的特征融合。迭代注意特征融合模块(IAFF),将初始特征融合与另一个注意力模块交替集成。引入多尺度通道注意力模块(MSCAM),通过尺度不同的两个分支来提取通道注意力。二、MethodMulti-scale Channel Attention Module (MS-CAM)

​ MS-CAM 主要是延续 SENet 的想法,再于 CNN 上结合 Local / Global 的特征,并在空间上用 Attention 来 融合多尺度信息 。

​ MS-CAM 有 2 个较大的不同:

MS-CAM 通过逐点卷积(1x1卷积)来关注通道的尺度问题,而不是大小不同的卷积核,使用点卷积,为了让 MS-CAM 尽可能的轻量化。MS-CAM 不是在主干网中,而是在通道注意力模块中局部本地和全局的特征上下文特征。

上图为 MS-CAM 的结构图,X 为输入特征,X' 为融合后的特征,右边两个分支分别表示全局特征的通道注意力和局部特征的通道注意力,局部特征的通道注意力的计算公式 L(X) 如下:

Attentional Feature Fusion 注意力特征融合

实现的代码如下:

class MS_CAM(nn.Module): ''' 单特征进行通道注意力加权,作用类似SE模块 ''' def __init__(self, channels=64, r=4): super(MS_CAM, self).__init__() inter_channels = int(channels // r) # 局部注意力 self.local_att = nn.Sequential( nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) # 全局注意力 self.global_att = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) self.sigmoid = nn.Sigmoid() def forward(self, x): xl = self.local_att(x) xg = self.global_att(x) xlg = xl + xg wei = self.sigmoid(xlg) return x * weiAttentional Feature Fusion(AFF)

给定两个特征 X, Y 进行特征融合( Y 代表感受野更大的特征)。

AFF 的计算方法如下:

对输入的两个特征 X , Y 先做初始特征融合,再将得到的初始特征经过 MS-CAM 模块,经过 sigmod 激活函数,输出值为 0~1 之间,作者希望对 X 、Y 做加权平均,就用 1 减去这组 Fusion weight ,可以作到 Soft selection ,通过训练,让网络确定各自的权重。

实现的代码如下:

class AFF(nn.Module): ''' 多特征融合 AFF ''' def __init__(self, channels=64, r=4): super(AFF, self).__init__() inter_channels = int(channels // r) # 局部注意力 self.local_att = nn.Sequential( nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) # 全局注意力 self.global_att = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) self.sigmoid = nn.Sigmoid() def forward(self, x, residual): xa = x + residual xl = self.local_att(xa) xg = self.global_att(xa) xlg = xl + xg wei = self.sigmoid(xlg) xo = x * wei + residual * (1 - wei) return xoiterative Attentional Feature Fusion ( iAFF )

​ 在注意力特征融合模块中,X , Y 初始特征的融合仅是简单对应元素相加,然后作为注意力模块的输入会对最终融合权重产生影响。作者认为如果想要对输入的特征图有完整的感知,只有将初始特征融合也采用注意力融合的机制,一种直观的方法是使用另一个 attention 模块来融合输入的特征。

公式跟 AFF 的计算一样,仅仅是多加一层attention。

实现的代码如下:

class iAFF(nn.Module): ''' 多特征融合 iAFF ''' def __init__(self, channels=64, r=4): super(iAFF, self).__init__() inter_channels = int(channels // r) # 局部注意力 self.local_att = nn.Sequential( nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) # 全局注意力 self.global_att = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) # 第二次局部注意力 self.local_att2 = nn.Sequential( nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) # 第二次全局注意力 self.global_att2 = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) self.sigmoid = nn.Sigmoid() def forward(self, x, residual): xa = x + residual xl = self.local_att(xa) xg = self.global_att(xa) xlg = xl + xg wei = self.sigmoid(xlg) xi = x * wei + residual * (1 - wei) xl2 = self.local_att2(xi) xg2 = self.global_att(xi) xlg2 = xl2 + xg2 wei2 = self.sigmoid(xlg2) xo = x * wei2 + residual * (1 - wei2) return xo三、Experiments

这里展示部分实验结果,详细的实验结果请参考原论文。

为了验证Multi-scale 的作法是否有效,作者设置了Global + Global 和Local + Local两种方法,与Global + Local对比,发现全局+局部的效果还是最优的。

在各种主流网络中,使用本论文中提出的特征融合方法,用于短跳连接、长跳连接、同一层的特征融合中,效果均优于之前的模型。

不同的图像分类数据集上,在原有的网络模型中加入本文提出的特征融合方法,并与其原模型进行比较,发现准确率和网络的参数大小都得到了不错的性能提升。

本文链接地址:https://www.jiuchutong.com/zhishi/300057.html 转载请保留说明!

上一篇:使用YOLOv5模型进行目标检测!AI大佬手撕源码带你学(yolov3模型大小是多少)

下一篇:详解Inception结构:从Inception v1到Xception(critical_section 结构)

  • 税控盘的功能特点是
  • 公司法人已变更,前法人被失信
  • 不良资产处置措施
  • 会计科目长期待摊费用跟累计折旧分别是什么意思
  • 由旅行社开具的电子普票代订机票能抵扣税吗?
  • 上月开票这月退票要红冲吗?
  • 用友t3核算管理模块怎么结账
  • 增票未抵扣丢失怎么处理
  • 新公司筹建期要做账吗
  • 代收货款的商品
  • 小规模纳税人进项发票怎么做账
  • 营业外支出企业所得税怎么填
  • 先开了发票给客户,不付款怎么办
  • 固定资产转为投资性房地产折旧
  • 单位月工资总额
  • 职工福利部门的工资
  • 别人垫付的医药费,可以报销吗
  • 核定征收所得税税率
  • 在建工程的招待费计入到哪个科目
  • 增值税税控系统专用设备抵减增值税
  • 公司发生业务分录
  • 年收入12万以内个人所得税
  • 合并起来
  • 会计案例分析题万能模板
  • 劳务分包简易计税可以抵扣吗
  • 无偿划拨的资产怎么做资产卡片账簿
  • 税务申报系统叫什么
  • 一般纳税人错开免税发票如何申报
  • 进项税加计扣除申报表怎么填
  • 买购物卡发福利怎么发
  • 非金融类企业的货币资金主要包括哪些内容?
  • 劳务报酬的申报流程
  • 项目款申请
  • 公司帮员工交的社保公司可以退吗
  • 山毛榉树林里的草叫什么
  • php 链式调用
  • 税收筹划的税种
  • PHP:mcrypt_get_block_size()的用法_Mcrypt函数
  • vue实现pdf下载
  • php设计模式六大原则
  • 增值税核算应采用什么科目
  • 什么是长期股权投资法
  • 输入什么验证
  • 可变现净值相关税费包括消费税吗
  • 工商年报认缴出资时间填错了,有什么后果
  • 金蝶数量金额怎么输入
  • 其他应付款清账
  • vue中的echarts
  • opencv制作训练数据集
  • zend框架教程
  • 个税手续费增值税
  • 商品过期的会计分录
  • 以前年度损益调整是什么意思
  • 小企业会计准则和企业会计准则的区别
  • mongo mysql区别
  • 玩转mongodb4.0从入门到实践
  • 长期资产包含哪些
  • 增值税抵扣凭证怎么做
  • Sql Server中Substring函数的用法实例解析
  • 应收账款科目的期末余额
  • 弥补以前年度亏损报表怎么填
  • 固定资产如何抵扣进项税额
  • 发明专利权限的期限是多少年
  • 如何理解会计中的借贷? 知乎
  • sql hash
  • 怎么去掉0前面的逗号
  • mysql免安装版下载
  • fedora29
  • linux忘记root密码怎么修改
  • ubuntu下添加新用户
  • win7系统打印机服务开启
  • jquery链式操作原理
  • 简单模拟电路图
  • 批处理命令修改ip
  • 批处理 删除指定文件
  • Python Requests 基础入门
  • python中fun函数怎么用
  • 国家税务总局上海市电子税务局
  • 四川国税网上营业厅
  • 江苏国税电子税务局官网
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设