位置: IT常识 - 正文

注意力机制-CA注意力-Coordinate attention(注意力机制详解)

编辑:rootadmin
注意力机制-CA注意力-Coordinate attention 注意力机制学习--CA(Coordinate attention)简介CA注意力机制的优势:提出不足算法流程图代码最后简介

推荐整理分享注意力机制-CA注意力-Coordinate attention(注意力机制详解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:注意力机制 cv,注意力机制 lstm,注意力机制 cv,注意力机制 cv,注意力机制 q k v,注意力机制 lstm,注意力机制cbam,注意力机制工作原理,内容如对您有帮助,希望把文章链接给更多的朋友!

CA(Coordinate attention for efficient mobile network design)发表在CVPR2021,帮助轻量级网络涨点、即插即用。

CA注意力机制的优势:注意力机制-CA注意力-Coordinate attention(注意力机制详解)

1、不仅考虑了通道信息,还考虑了方向相关的位置信息。 2、足够的灵活和轻量,能够简单的插入到轻量级网络的核心模块中。

提出不足

1、SE注意力中只关注构建通道之间的相互依赖关系,忽略了空间特征。 2、CBAM中引入了大尺度的卷积核提取空间特征,但忽略了长程依赖问题。

算法流程图

step1: 为了避免空间信息全部压缩到通道中,这里没有使用全局平均池化。为了能够捕获具有精准位置信息的远程空间交互,对全局平均池化进行的分解,具体如下: 对尺寸为C∗H∗WC*H*WC∗H∗W输入特征图InputInputInput分别按照XXX方向和YYY方向进行池化,分别生成尺寸为C∗H∗1C*H*1C∗H∗1和C∗1∗WC*1*WC∗1∗W的特征图。如下图所示(图片粘贴自B站大佬渣渣的熊猫潘)。 step2:将生成的C∗1∗WC*1*WC∗1∗W的特征图进行变换,然后进行concat操作。公式如下: 将zhz^hzh和zwz^wzw进行concat后生成如下图所示的特征图,然后进行F1操作(利用1*1卷积核进行降维,如SE注意力中操作)和激活操作,生成特征图f∈RC/r×(H+W)×1f \in \mathbb{R}^{C/r\times(H+W)\times1}f∈RC/r×(H+W)×1。 step3:沿着空间维度,再将fff进行split操作,分成fh∈RC/r×H×1f^h\in \mathbb{R}^{C/r\times H \times1}fh∈RC/r×H×1和fw∈RC/r×1×Wf^w\in \mathbb{R}^{C/r\times1\times W}fw∈RC/r×1×W,然后分别利用1×11 \times 11×1卷积进行升维度操作,再结合sigmoid激活函数得到最后的注意力向量gh∈RC×H×1g^h \in \mathbb{R}^{C \times H \times 1 }gh∈RC×H×1和gw∈RC×1×Wg^w\in \mathbb{R}^{C \times1\times W}gw∈RC×1×W。 最后:Coordinate Attention 的输出公式可以写成:

代码

代码粘贴自github。CoordAttention 地址:https://github.com/houqb/CoordAttention/blob/main/mbv2_ca.py

class CoordAtt(nn.Module): def __init__(self, inp, oup, groups=32): super(CoordAtt, self).__init__() self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) self.pool_w = nn.AdaptiveAvgPool2d((1, None)) mip = max(8, inp // groups) self.conv1 = nn.Conv2d(inp, mip, kernel_size=1, stride=1, padding=0) self.bn1 = nn.BatchNorm2d(mip) self.conv2 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.conv3 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.relu = h_swish() def forward(self, x): identity = x n,c,h,w = x.size() x_h = self.pool_h(x) x_w = self.pool_w(x).permute(0, 1, 3, 2) y = torch.cat([x_h, x_w], dim=2) y = self.conv1(y) y = self.bn1(y) y = self.relu(y) x_h, x_w = torch.split(y, [h, w], dim=2) x_w = x_w.permute(0, 1, 3, 2) x_h = self.conv2(x_h).sigmoid() x_w = self.conv3(x_w).sigmoid() x_h = x_h.expand(-1, -1, h, w) x_w = x_w.expand(-1, -1, h, w) y = identity * x_w * x_h return y最后

CA不仅考虑到空间和通道之间的关系,还考虑到长程依赖问题。通过实验发现,CA不仅可以实现精度提升,且参数量、计算量较少。

简单进行记录,如有问题请大家指正。

本文链接地址:https://www.jiuchutong.com/zhishi/290832.html 转载请保留说明!

上一篇:el-table(type=“selection“)多选框两种回显

下一篇:鸟瞰皮纳图博火山湖和山脉,菲律宾波拉克 (© Amazing Aerial Agency/Offset by Shutterstock)(bestars皮纳)

  • 减免税款会计分录
  • 应纳税所得额是什么意思
  • 本年利润需要毎月转入未分配利润吗
  • 个人提供建筑安装劳务如何缴纳个人所得税
  • 收据四联分别叫什么
  • 月末调整银行外币汇率会计分录
  • 增值税发票在邮寄途中丢了怎么办
  • 新领的发票怎么导入uk开票系统
  • 固定资产减值必有损益吗
  • 公司偷税漏税是当事人责任大还是法人责任大
  • 应交税金进项税的会计分录
  • 权益净利率如何算
  • 工程预付款未按时支付
  • 汇兑还款会计分录
  • 哪些项目需要征税
  • 销项负数发票怎么冲减成本
  • 营改增后二手房转让 一般计税 可以差额
  • 营改增的项目
  • 单位给员工发工资要交税吗
  • 小规模纳税人代账多少钱一个月
  • 参加国外展会费用
  • 增值税发票每个月什么时候可以开
  • 个体户需要申报工资薪金吗
  • 企业支付员工的工资
  • 农业免税企业怎么报税
  • 控股公司如何抵押股权
  • 转正工资差额什么意思
  • 实收资本减值会计处理
  • 终于找到修改mac的方法了!
  • mac硬盘的常见问题及解决
  • 王者荣耀如何充值退款
  • ppt文件打不开了怎么办
  • 在线网速测试工具
  • php面向对象详解
  • 未抵扣的固定资产处理
  • 境外人员定义
  • 修建污水处理厂施工方案包括哪些内容
  • php true
  • 采购员出差预借差旅费时,应借记
  • 销售旧的固定资产 税法规定
  • 拉马克是哪国人
  • 页面白屏可能原因前端
  • 关联方的四种认证方式
  • 电力安装公司都有什么业务
  • 定时任务java
  • 投资性房地产抵债差额计入
  • 装订好的凭证可以拆开吗
  • 财务制度备案信息是不是可以不填
  • 公司购买的商品是白酒用于招待现金流项目是哪类
  • 旅游景点的门票能做费用吗
  • mongodb 入门
  • 银行承兑汇票存在的风险
  • 库存不多
  • 公司买的微波炉算职工福利费吗
  • sql server join
  • 吊车租赁有限公司
  • 账务处理的种类有哪些
  • 已付款发票未到怎么做分录
  • 企业账户里的政府账户
  • 公众号认证小额打款流程
  • 短期借款计提利息计入什么科目
  • 金税盘的维护费每年怎么抵扣
  • 怎么设置账簿
  • win mysql
  • 索引的基本原则
  • sql server本地登录
  • win8系统启动慢怎么办
  • 如何快速提升花呗额度
  • Win10预览版怎么变回正式版
  • windos8怎么样
  • wupdated.exe - wupdated是什么进程
  • win7微软账户
  • jQuery实现非常实用漂亮的select下拉菜单选择效果
  • opengl矩形
  • js多选
  • 利用jQuery及AJAX技术定时更新GridView的某一列数据
  • javascript之typeof、instanceof操作符使用探讨
  • jquery有自定义选择器吗
  • 新土地管理法37条解释
  • 税收与税收管理的关系
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设