位置: IT常识 - 正文

注意力机制-CA注意力-Coordinate attention(注意力机制详解)

编辑:rootadmin
注意力机制-CA注意力-Coordinate attention 注意力机制学习--CA(Coordinate attention)简介CA注意力机制的优势:提出不足算法流程图代码最后简介

推荐整理分享注意力机制-CA注意力-Coordinate attention(注意力机制详解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:注意力机制 cv,注意力机制 lstm,注意力机制 cv,注意力机制 cv,注意力机制 q k v,注意力机制 lstm,注意力机制cbam,注意力机制工作原理,内容如对您有帮助,希望把文章链接给更多的朋友!

CA(Coordinate attention for efficient mobile network design)发表在CVPR2021,帮助轻量级网络涨点、即插即用。

CA注意力机制的优势:注意力机制-CA注意力-Coordinate attention(注意力机制详解)

1、不仅考虑了通道信息,还考虑了方向相关的位置信息。 2、足够的灵活和轻量,能够简单的插入到轻量级网络的核心模块中。

提出不足

1、SE注意力中只关注构建通道之间的相互依赖关系,忽略了空间特征。 2、CBAM中引入了大尺度的卷积核提取空间特征,但忽略了长程依赖问题。

算法流程图

step1: 为了避免空间信息全部压缩到通道中,这里没有使用全局平均池化。为了能够捕获具有精准位置信息的远程空间交互,对全局平均池化进行的分解,具体如下: 对尺寸为C∗H∗WC*H*WC∗H∗W输入特征图InputInputInput分别按照XXX方向和YYY方向进行池化,分别生成尺寸为C∗H∗1C*H*1C∗H∗1和C∗1∗WC*1*WC∗1∗W的特征图。如下图所示(图片粘贴自B站大佬渣渣的熊猫潘)。 step2:将生成的C∗1∗WC*1*WC∗1∗W的特征图进行变换,然后进行concat操作。公式如下: 将zhz^hzh和zwz^wzw进行concat后生成如下图所示的特征图,然后进行F1操作(利用1*1卷积核进行降维,如SE注意力中操作)和激活操作,生成特征图f∈RC/r×(H+W)×1f \in \mathbb{R}^{C/r\times(H+W)\times1}f∈RC/r×(H+W)×1。 step3:沿着空间维度,再将fff进行split操作,分成fh∈RC/r×H×1f^h\in \mathbb{R}^{C/r\times H \times1}fh∈RC/r×H×1和fw∈RC/r×1×Wf^w\in \mathbb{R}^{C/r\times1\times W}fw∈RC/r×1×W,然后分别利用1×11 \times 11×1卷积进行升维度操作,再结合sigmoid激活函数得到最后的注意力向量gh∈RC×H×1g^h \in \mathbb{R}^{C \times H \times 1 }gh∈RC×H×1和gw∈RC×1×Wg^w\in \mathbb{R}^{C \times1\times W}gw∈RC×1×W。 最后:Coordinate Attention 的输出公式可以写成:

代码

代码粘贴自github。CoordAttention 地址:https://github.com/houqb/CoordAttention/blob/main/mbv2_ca.py

class CoordAtt(nn.Module): def __init__(self, inp, oup, groups=32): super(CoordAtt, self).__init__() self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) self.pool_w = nn.AdaptiveAvgPool2d((1, None)) mip = max(8, inp // groups) self.conv1 = nn.Conv2d(inp, mip, kernel_size=1, stride=1, padding=0) self.bn1 = nn.BatchNorm2d(mip) self.conv2 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.conv3 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.relu = h_swish() def forward(self, x): identity = x n,c,h,w = x.size() x_h = self.pool_h(x) x_w = self.pool_w(x).permute(0, 1, 3, 2) y = torch.cat([x_h, x_w], dim=2) y = self.conv1(y) y = self.bn1(y) y = self.relu(y) x_h, x_w = torch.split(y, [h, w], dim=2) x_w = x_w.permute(0, 1, 3, 2) x_h = self.conv2(x_h).sigmoid() x_w = self.conv3(x_w).sigmoid() x_h = x_h.expand(-1, -1, h, w) x_w = x_w.expand(-1, -1, h, w) y = identity * x_w * x_h return y最后

CA不仅考虑到空间和通道之间的关系,还考虑到长程依赖问题。通过实验发现,CA不仅可以实现精度提升,且参数量、计算量较少。

简单进行记录,如有问题请大家指正。

本文链接地址:https://www.jiuchutong.com/zhishi/290832.html 转载请保留说明!

上一篇:el-table(type=“selection“)多选框两种回显

下一篇:鸟瞰皮纳图博火山湖和山脉,菲律宾波拉克 (© Amazing Aerial Agency/Offset by Shutterstock)(bestars皮纳)

  • 申报未抄税
  • 如何解除委托合同范文
  • 核定征收三种方式
  • 投资款算什么会计科目
  • 法人存到公司账户的钱怎么记账
  • 主营业务收入属于资产
  • 已出库未开票未收款会计分录
  • 给职工发奖金有什么规定吗
  • 交通费补贴报销的会计分录怎么做?
  • 结汇收益怎么算
  • 我国现行资源税的课税范围不包括
  • 企业购入生产设备所支付的增值税
  • 补入库存商品的会计分录
  • 银行收到对方付款的会计分录
  • 没有税收编码的发票怎么开具红字票
  • 没有开通对公账户
  • 增值税发票抵扣进项税什么意思
  • 税务登记都需要什么
  • 农产品增值税核定扣除办法
  • 教育费附加免征还计提吗
  • 生产型企业进出口初申报流程
  • 多交企业所得税怎么申请抵缴
  • 政府补助专款专用如何入账
  • wifi认证失败怎么办
  • 入账价值是啥
  • 对公账户是否有银行卡号
  • 开发票货款未公对公转怎么做账
  • 企业存款利息收入要交哪些税
  • 汇算清缴申报表怎么填
  • win没有投影到此电脑怎么办
  • 法人借给公司钱怎么备注
  • 出租商品计入其他业务收入吗
  • 重装系统后出现ctrl+alt+del
  • PHP:apache_get_modules()的用法_Apache函数
  • 资产证券化 会计处理
  • 生成stl基本过程
  • 长期借款账务处理会计分录怎么写
  • uniapp前端 django后端
  • win11系统自动更新
  • php基本语句
  • 预付劳务款项会计分录
  • swoole扩展安装
  • 凭证摘要写错了已经结账
  • 发票查询密码区空白怎么回事
  • 没有发票能办临时牌照吗
  • 小微企业所得税税率2.5% 10% 25%
  • dedecms安装及配置
  • 专用发票必须按照销售方开户行及账号付款吗
  • 投资收益收到的现金增加的原因
  • 公司买的微波炉算职工福利费吗
  • 吸收合并和新设合并哪个更好
  • 营改增后一般纳税人按简易办法计税的规定
  • 出口退税是先交税后退税吗
  • 第三方代销什么意思
  • 国地税合并对个人带来的影响
  • 公司支票可以转给个人吗
  • 外贸公司收取客户的费用
  • 小规模纳税人防伪税控会计分录
  • 固定资产的处置方式包括
  • 在建工程进项税额转出会计分录
  • 工资薪金个人所得税怎么申报
  • 出租人融资租赁的判断标准
  • ubuntu 安装指定位置
  • windows域环境搭建
  • windowxp一直在windowxp界面
  • eac.exe是什么
  • pqhelper.exe是什么进程 pqhelper进程查询
  • 怎么判断进程是否存在
  • windows补丁kb3033929
  • jqgrid设置宽度
  • js怎么操作css
  • get调用接口
  • 查看node
  • 云南省低保查询网上查询
  • 江西省医保卡缴费
  • 水利优惠政策
  • 企业怎么成立工会组织
  • 江西省税务局公众号
  • 一季度土地市场
  • 天津市河东区税务局
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设