位置: IT常识 - 正文

注意力机制-CA注意力-Coordinate attention(注意力机制详解)

编辑:rootadmin
注意力机制-CA注意力-Coordinate attention 注意力机制学习--CA(Coordinate attention)简介CA注意力机制的优势:提出不足算法流程图代码最后简介

推荐整理分享注意力机制-CA注意力-Coordinate attention(注意力机制详解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:注意力机制 cv,注意力机制 lstm,注意力机制 cv,注意力机制 cv,注意力机制 q k v,注意力机制 lstm,注意力机制cbam,注意力机制工作原理,内容如对您有帮助,希望把文章链接给更多的朋友!

CA(Coordinate attention for efficient mobile network design)发表在CVPR2021,帮助轻量级网络涨点、即插即用。

CA注意力机制的优势:注意力机制-CA注意力-Coordinate attention(注意力机制详解)

1、不仅考虑了通道信息,还考虑了方向相关的位置信息。 2、足够的灵活和轻量,能够简单的插入到轻量级网络的核心模块中。

提出不足

1、SE注意力中只关注构建通道之间的相互依赖关系,忽略了空间特征。 2、CBAM中引入了大尺度的卷积核提取空间特征,但忽略了长程依赖问题。

算法流程图

step1: 为了避免空间信息全部压缩到通道中,这里没有使用全局平均池化。为了能够捕获具有精准位置信息的远程空间交互,对全局平均池化进行的分解,具体如下: 对尺寸为C∗H∗WC*H*WC∗H∗W输入特征图InputInputInput分别按照XXX方向和YYY方向进行池化,分别生成尺寸为C∗H∗1C*H*1C∗H∗1和C∗1∗WC*1*WC∗1∗W的特征图。如下图所示(图片粘贴自B站大佬渣渣的熊猫潘)。 step2:将生成的C∗1∗WC*1*WC∗1∗W的特征图进行变换,然后进行concat操作。公式如下: 将zhz^hzh和zwz^wzw进行concat后生成如下图所示的特征图,然后进行F1操作(利用1*1卷积核进行降维,如SE注意力中操作)和激活操作,生成特征图f∈RC/r×(H+W)×1f \in \mathbb{R}^{C/r\times(H+W)\times1}f∈RC/r×(H+W)×1。 step3:沿着空间维度,再将fff进行split操作,分成fh∈RC/r×H×1f^h\in \mathbb{R}^{C/r\times H \times1}fh∈RC/r×H×1和fw∈RC/r×1×Wf^w\in \mathbb{R}^{C/r\times1\times W}fw∈RC/r×1×W,然后分别利用1×11 \times 11×1卷积进行升维度操作,再结合sigmoid激活函数得到最后的注意力向量gh∈RC×H×1g^h \in \mathbb{R}^{C \times H \times 1 }gh∈RC×H×1和gw∈RC×1×Wg^w\in \mathbb{R}^{C \times1\times W}gw∈RC×1×W。 最后:Coordinate Attention 的输出公式可以写成:

代码

代码粘贴自github。CoordAttention 地址:https://github.com/houqb/CoordAttention/blob/main/mbv2_ca.py

class CoordAtt(nn.Module): def __init__(self, inp, oup, groups=32): super(CoordAtt, self).__init__() self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) self.pool_w = nn.AdaptiveAvgPool2d((1, None)) mip = max(8, inp // groups) self.conv1 = nn.Conv2d(inp, mip, kernel_size=1, stride=1, padding=0) self.bn1 = nn.BatchNorm2d(mip) self.conv2 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.conv3 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.relu = h_swish() def forward(self, x): identity = x n,c,h,w = x.size() x_h = self.pool_h(x) x_w = self.pool_w(x).permute(0, 1, 3, 2) y = torch.cat([x_h, x_w], dim=2) y = self.conv1(y) y = self.bn1(y) y = self.relu(y) x_h, x_w = torch.split(y, [h, w], dim=2) x_w = x_w.permute(0, 1, 3, 2) x_h = self.conv2(x_h).sigmoid() x_w = self.conv3(x_w).sigmoid() x_h = x_h.expand(-1, -1, h, w) x_w = x_w.expand(-1, -1, h, w) y = identity * x_w * x_h return y最后

CA不仅考虑到空间和通道之间的关系,还考虑到长程依赖问题。通过实验发现,CA不仅可以实现精度提升,且参数量、计算量较少。

简单进行记录,如有问题请大家指正。

本文链接地址:https://www.jiuchutong.com/zhishi/290832.html 转载请保留说明!

上一篇:el-table(type=“selection“)多选框两种回显

下一篇:鸟瞰皮纳图博火山湖和山脉,菲律宾波拉克 (© Amazing Aerial Agency/Offset by Shutterstock)(bestars皮纳)

  • 无线宽带路由器设置(无线宽带路由器设置)(传畅无线宽带路由器)

    无线宽带路由器设置(无线宽带路由器设置)(传畅无线宽带路由器)

  • 小米air2se耳机上市时间(小米air2se耳机功能)

    小米air2se耳机上市时间(小米air2se耳机功能)

  • iphone11什么时候开始发货(iphone11什么时候下架的)

    iphone11什么时候开始发货(iphone11什么时候下架的)

  • 支付宝地区怎么修改(支付宝地区怎么隐藏)

    支付宝地区怎么修改(支付宝地区怎么隐藏)

  • 抖音回关对方知道吗(抖音回关对方会提示吗)

    抖音回关对方知道吗(抖音回关对方会提示吗)

  • 华为M6锁屏密码忘了怎么办(华为m6设置密码)

    华为M6锁屏密码忘了怎么办(华为m6设置密码)

  • oppoa52用的什么处理器(oppoa52使用感受)

    oppoa52用的什么处理器(oppoa52使用感受)

  • 苹果a1489是ipad第几代(苹果a1484是ipad第几代)

    苹果a1489是ipad第几代(苹果a1484是ipad第几代)

  • 快手私信里的聊天记录删除了还可以找到吗(快手私信里的聊天记录删了怎么恢复)

    快手私信里的聊天记录删除了还可以找到吗(快手私信里的聊天记录删了怎么恢复)

  • 网内点对点短信是什么意思(网内点对点短信通信费我没用啊)

    网内点对点短信是什么意思(网内点对点短信通信费我没用啊)

  • pr图片显示不全怎么办(pr图片显示不全怎么回事)

    pr图片显示不全怎么办(pr图片显示不全怎么回事)

  • 1000毫安的充电宝能充手机几次(1000毫安的充电宝多少钱)

    1000毫安的充电宝能充手机几次(1000毫安的充电宝多少钱)

  • 爱奇艺在哪里找到缓存的电影(爱奇艺在哪里找二维码)

    爱奇艺在哪里找到缓存的电影(爱奇艺在哪里找二维码)

  • iq00怎样开启液冷散热(iqooneo3液冷怎么开)

    iq00怎样开启液冷散热(iqooneo3液冷怎么开)

  • 手机4k和1080p的区别(手机4k和1080p的哪个更好)

    手机4k和1080p的区别(手机4k和1080p的哪个更好)

  • 小米8未知来源在设置那里(小米未知来源权限在哪里打开?)

    小米8未知来源在设置那里(小米未知来源权限在哪里打开?)

  • 云闪付怎么申请退款(云闪付怎么申请购车补贴)

    云闪付怎么申请退款(云闪付怎么申请购车补贴)

  • word怎么设置上标表示形式(word怎么设置上角标)

    word怎么设置上标表示形式(word怎么设置上角标)

  • 华为p30通话设置在哪里(华为荣耀手机高清通话设置)

    华为p30通话设置在哪里(华为荣耀手机高清通话设置)

  • 安居客如何注销(安居客如何注销经纪人账号)

    安居客如何注销(安居客如何注销经纪人账号)

  • Linux中用grep命令来搜索单词及统计匹配的行数(linux grep使用)

    Linux中用grep命令来搜索单词及统计匹配的行数(linux grep使用)

  • @Nullable 注解的详细用法(nullable object must have a value)

    @Nullable 注解的详细用法(nullable object must have a value)

  • dedecms后台功能之支付接口设置介绍(dedecms使用教程)

    dedecms后台功能之支付接口设置介绍(dedecms使用教程)

  • 外籍人士如何在中国办理延长签证
  • 物业公司增值税加计扣除
  • 无息借款账务处理
  • 业务活动成本和业务活动费用的区别
  • 产品没货怎么给客户解释
  • 个税app显示已离职是什么原因
  • 信息技术服务企业研发费用加计扣除
  • 购销合同印花税最新政策2023
  • 出租不动产房屋交什么税
  • 出口货物是否属于存货
  • 公司车买的保险怎么查电子保单
  • 固定资产采购计入什么科目
  • 公司先注册实收资本后付账该如何做会计处理呢?
  • 计提企业所得税怎么计算
  • 内部交易增值税怎么算
  • 电子发票对航天信息利空吗
  • 办公室饮用水可以浇花吗
  • 会计经验要求怎么填
  • 金税盘使用说明
  • 公司给另外一家公司投资
  • 科技型企业科研项目申报
  • 高新技术企业的研发费用比例
  • 小企业出售无形资产发生的净损失应当计入什么科目
  • 零申报工会经费滞纳金怎么算
  • windows10如何开热点
  • 打样费入什么科目
  • 荣耀x10的鸿蒙系统怎么开启
  • 出租固定资产取得的净收益计入什么科目
  • 绿萝怎么养才能爬藤
  • 坏账准备的会计科目
  • 股东分红会计分录摘要
  • 纽约公共图书馆开放时间
  • php socket_select
  • 房地产开发企业增值税怎么算
  • 关于php文件的自动播放
  • ChatGPT是如何训练得到的?通俗讲解
  • php会员到期功能
  • php 微信公众号自定义菜单
  • zgrep命令详解
  • 委托第三方收款合法吗
  • 电商每天利润表怎么做
  • python第三方库安装教程
  • 分公司可以单独上市吗
  • 经营活动现金净流量为正说明什么
  • 抵扣是什么意思大白话...举例
  • 库存商品怎么结转收入
  • 个人所得税手续费奖励办税人员文件
  • mysql delete limit 使用方法详解
  • 为什么固定资产减值准备一经计提不得转回
  • 企业取得交易性金融资产的主要目的是
  • 长期待摊销费用属于
  • 对于相关人员培训存在的问题
  • 将本月应交未交增值税转入未交增值税
  • 收到对方公司退款
  • 冲减上月收入会计分录
  • 一般纳税人购买汽车会计分录
  • 股权转让的会计分录
  • 累计折旧可以作为利润分配吗
  • 个人购汇需要申报吗
  • win mysql
  • mysql 一键安装
  • 删除windows用户密码
  • windows7中ie浏览器怎么打开
  • mac系统怎么画图
  • 简述linux系统中有哪些文件类型?
  • winxp系统界面图片
  • nginx文件服务器
  • linux安全性从何而来
  • 磁盘空间不足怎么弄
  • linux删除sdb1
  • opengl和openglskia
  • ecmascript6 官方文档
  • node.js 开发工具
  • jquery如何解决跨域问题
  • unity游戏开发的技术
  • javascript 拖拽
  • unity3d游戏开发教程
  • 顺丰快递的开票历史如何删除
  • 浙江国地税联合申报系统官网
  • 买新车的注意事项有哪些比较重要的
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设