位置: IT常识 - 正文

Attentional Feature Fusion 注意力特征融合

编辑:rootadmin
Attentional Feature Fusion 注意力特征融合 Attentional Feature Fusion 注意力特征融合

推荐整理分享Attentional Feature Fusion 注意力特征融合,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

最近看到一篇比较不错的特征融合方法,基于注意力机制的 AAF ,与此前的 SENet 、SKNet 等很相似,但 AFF 性能优于它们,并且适用于更广泛的场景,包括短和长跳连接以及在 Inception 层内引起的特征融合。AFF 是由南航提出的注意力特征融合,即插即用!

本篇博客主要参考自知乎作者 OucQxw ,知乎原文地址:https://zhuanlan.zhihu.com/p/424031096

论文下载地址:https://arxiv.org/pdf/2009.14082.pdf

Github代码地址:https://github.com/YimianDai/open-aff

一、Motivation

特征融合是指来自不同层次或分支的特征的组合,是现代神经网络体系结构中无所不在的一部分。它通常通过简单线性的操作(例如:求和或者串联来实现),但这可能不是最佳的选择。本文提出了一个统一的通用方案,即注意力特征融合( AFF ),该方案适用于大多数常见场景,包括短和长跳连接以及在 Inception 层内引起的特征融合。

为了更好地融合语义和尺度不一致的特征,我们提出了多尺度通道注意力模块 ( MS-CAM ),该模块解决了融合不同尺度特征时出现的问题。我们还证明了初始特征融合可能会成为瓶颈,并提出了迭代注意力特征融合模块(iAFF )来缓解此问题。

近年发展的 SKNet 和 ResNeSt 注意力特征融合存在的问题:场景限制:SKNet 和 ResNeSt 只关注同一层的特征选择,无法做到跨层特征融合。简单的初始集成 :为了将得到的特征提供给注意力模块,SKNet 通过相加来进行特征融合,而这些特征在规模和语义上可能存在很大的不一致性,对融合权值的质量也有很大的影响,使得模型表现受限。偏向上下文聚合尺度:SKNet 和 ResNeSt 中的融合权值是通过全局通道注意机制生成的,对于分布更全局的信息,该机制更受青睐,但是对于小目标效果就不太好。是否可以通过神经网络动态地融合不同尺度的特征?本文的贡献,针对于上述三个问题,提出以下解决办法:注意特征融合模块(AFF),适用于大多数常见场景,包括由short and long skip connections以及在Inception层内引起的特征融合。迭代注意特征融合模块(IAFF),将初始特征融合与另一个注意力模块交替集成。引入多尺度通道注意力模块(MSCAM),通过尺度不同的两个分支来提取通道注意力。二、MethodMulti-scale Channel Attention Module (MS-CAM)

​ MS-CAM 主要是延续 SENet 的想法,再于 CNN 上结合 Local / Global 的特征,并在空间上用 Attention 来 融合多尺度信息 。

​ MS-CAM 有 2 个较大的不同:

MS-CAM 通过逐点卷积(1x1卷积)来关注通道的尺度问题,而不是大小不同的卷积核,使用点卷积,为了让 MS-CAM 尽可能的轻量化。MS-CAM 不是在主干网中,而是在通道注意力模块中局部本地和全局的特征上下文特征。

上图为 MS-CAM 的结构图,X 为输入特征,X' 为融合后的特征,右边两个分支分别表示全局特征的通道注意力和局部特征的通道注意力,局部特征的通道注意力的计算公式 L(X) 如下:

Attentional Feature Fusion 注意力特征融合

实现的代码如下:

class MS_CAM(nn.Module): ''' 单特征进行通道注意力加权,作用类似SE模块 ''' def __init__(self, channels=64, r=4): super(MS_CAM, self).__init__() inter_channels = int(channels // r) # 局部注意力 self.local_att = nn.Sequential( nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) # 全局注意力 self.global_att = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) self.sigmoid = nn.Sigmoid() def forward(self, x): xl = self.local_att(x) xg = self.global_att(x) xlg = xl + xg wei = self.sigmoid(xlg) return x * weiAttentional Feature Fusion(AFF)

给定两个特征 X, Y 进行特征融合( Y 代表感受野更大的特征)。

AFF 的计算方法如下:

对输入的两个特征 X , Y 先做初始特征融合,再将得到的初始特征经过 MS-CAM 模块,经过 sigmod 激活函数,输出值为 0~1 之间,作者希望对 X 、Y 做加权平均,就用 1 减去这组 Fusion weight ,可以作到 Soft selection ,通过训练,让网络确定各自的权重。

实现的代码如下:

class AFF(nn.Module): ''' 多特征融合 AFF ''' def __init__(self, channels=64, r=4): super(AFF, self).__init__() inter_channels = int(channels // r) # 局部注意力 self.local_att = nn.Sequential( nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) # 全局注意力 self.global_att = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) self.sigmoid = nn.Sigmoid() def forward(self, x, residual): xa = x + residual xl = self.local_att(xa) xg = self.global_att(xa) xlg = xl + xg wei = self.sigmoid(xlg) xo = x * wei + residual * (1 - wei) return xoiterative Attentional Feature Fusion ( iAFF )

​ 在注意力特征融合模块中,X , Y 初始特征的融合仅是简单对应元素相加,然后作为注意力模块的输入会对最终融合权重产生影响。作者认为如果想要对输入的特征图有完整的感知,只有将初始特征融合也采用注意力融合的机制,一种直观的方法是使用另一个 attention 模块来融合输入的特征。

公式跟 AFF 的计算一样,仅仅是多加一层attention。

实现的代码如下:

class iAFF(nn.Module): ''' 多特征融合 iAFF ''' def __init__(self, channels=64, r=4): super(iAFF, self).__init__() inter_channels = int(channels // r) # 局部注意力 self.local_att = nn.Sequential( nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) # 全局注意力 self.global_att = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) # 第二次局部注意力 self.local_att2 = nn.Sequential( nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) # 第二次全局注意力 self.global_att2 = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, inter_channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(inter_channels), nn.ReLU(inplace=True), nn.Conv2d(inter_channels, channels, kernel_size=1, stride=1, padding=0), nn.BatchNorm2d(channels), ) self.sigmoid = nn.Sigmoid() def forward(self, x, residual): xa = x + residual xl = self.local_att(xa) xg = self.global_att(xa) xlg = xl + xg wei = self.sigmoid(xlg) xi = x * wei + residual * (1 - wei) xl2 = self.local_att2(xi) xg2 = self.global_att(xi) xlg2 = xl2 + xg2 wei2 = self.sigmoid(xlg2) xo = x * wei2 + residual * (1 - wei2) return xo三、Experiments

这里展示部分实验结果,详细的实验结果请参考原论文。

为了验证Multi-scale 的作法是否有效,作者设置了Global + Global 和Local + Local两种方法,与Global + Local对比,发现全局+局部的效果还是最优的。

在各种主流网络中,使用本论文中提出的特征融合方法,用于短跳连接、长跳连接、同一层的特征融合中,效果均优于之前的模型。

不同的图像分类数据集上,在原有的网络模型中加入本文提出的特征融合方法,并与其原模型进行比较,发现准确率和网络的参数大小都得到了不错的性能提升。

本文链接地址:https://www.jiuchutong.com/zhishi/300057.html 转载请保留说明!

上一篇:使用YOLOv5模型进行目标检测!AI大佬手撕源码带你学(yolov3模型大小是多少)

下一篇:详解Inception结构:从Inception v1到Xception(critical_section 结构)

  • 二手房买卖避税违法吗
  • 在计算应纳税所得额时下列
  • 金税盘怎么向分行汇款
  • 差旅费用什么记账凭证
  • 税收筹划的具体方法有哪些
  • 员工离职的补偿金怎么入账
  • 个人所得税免征项目有哪些
  • 发票的单价开得太低了怎么办?
  • 公司成本票不够交税多少
  • 混凝土增值税政策
  • 企业会计准则基本准则的主要内容
  • 关于诉讼费减半如何减的问题
  • 出口退税率怎么算公式是什么
  • 销售收入增加会导致哪些变动
  • 冲回坏账准备是什么意思
  • 研发费用计入什么科目符合资本化
  • 电脑开始菜单在右边怎么调回来
  • win10如何设置闹钟
  • 收到服务费分录怎么写
  • 赡养老人个税扣除标准和条件是什么
  • led显示屏的销售话术
  • 材料暂估入库需要备案吗
  • php版本常用的排版软件
  • 营改增预收款确认收入
  • 巴伐利亚森林国家公园钍自然真正自然
  • psd格式文档
  • 申报个人所得税是按应发工资还是实发工资
  • 什么是成本会计
  • 上期累计应纳税所得额
  • 社保缴费基数3400
  • 营业外收支的账户是什么
  • 适用会计准则或会计制度(填写代码)
  • 非流动资产基金 新会计制度 对应
  • 发票上没有数量可以吗
  • 什么是一般增值税纳税人
  • 汽车维修企业怎么认定小微企业
  • 应交增值税进项税额为什么记借方
  • 信用证保证金有利息吗
  • 库存现金错账怎么调整
  • 企业期末预收账款怎么算
  • 合并财务报表内部交易抵消顺流和逆流
  • 售后回租如何做会计处理
  • 应付股利科目怎么结转
  • 什么税能计入税额
  • 核定应税所得率征收
  • 人力资源外包服务费计入什么科目
  • 亏损合同预计负债
  • 其它应付款为负
  • 总公司和分公司如何分离
  • 本年利润月末怎么处理
  • 存出保证金的账务处理
  • 递延收益为什么属于负债
  • 超市购物卡怎么办理
  • 凭证上的数字金额怎么填
  • centos账号密码
  • win8开机启动项怎么关闭
  • win10系统如何快速打开控制面板
  • 检测你的vps是不是真的
  • CentOS(x86_64)下PHP安装memcache扩展问题解决方法分享
  • win8切换管理员账户
  • 1.cpp执行的是什么文件
  • win10系统怎么查询ip
  • CentOS安装scp命令详解
  • Win10 TH2正式版偷偷恢复/篡改成对应的预装应用
  • linux重复命令
  • linux切换到指定目录
  • win10系统怎么调整输入法
  • perl教程 pdf
  • perl入门
  • Android NDK Cocos2dx 3.4 Label中文显示
  • javascript全选反选
  • javascript create
  • eclipse开发安卓app实例
  • jquery触发点击事件click
  • ssh执行远程命令 参数
  • node.js web开发
  • 职工教育经费可以结转吗
  • 企业租赁房屋需要预缴增值税吗
  • 潍坊市滨海经济开发区属于哪里
  • 江苏省高中教师资格证考试科目
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设