位置: IT常识 - 正文

注意力机制-CA注意力-Coordinate attention(注意力机制详解)

编辑:rootadmin
注意力机制-CA注意力-Coordinate attention 注意力机制学习--CA(Coordinate attention)简介CA注意力机制的优势:提出不足算法流程图代码最后简介

推荐整理分享注意力机制-CA注意力-Coordinate attention(注意力机制详解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:注意力机制 cv,注意力机制 lstm,注意力机制 cv,注意力机制 cv,注意力机制 q k v,注意力机制 lstm,注意力机制cbam,注意力机制工作原理,内容如对您有帮助,希望把文章链接给更多的朋友!

CA(Coordinate attention for efficient mobile network design)发表在CVPR2021,帮助轻量级网络涨点、即插即用。

CA注意力机制的优势:注意力机制-CA注意力-Coordinate attention(注意力机制详解)

1、不仅考虑了通道信息,还考虑了方向相关的位置信息。 2、足够的灵活和轻量,能够简单的插入到轻量级网络的核心模块中。

提出不足

1、SE注意力中只关注构建通道之间的相互依赖关系,忽略了空间特征。 2、CBAM中引入了大尺度的卷积核提取空间特征,但忽略了长程依赖问题。

算法流程图

step1: 为了避免空间信息全部压缩到通道中,这里没有使用全局平均池化。为了能够捕获具有精准位置信息的远程空间交互,对全局平均池化进行的分解,具体如下: 对尺寸为C∗H∗WC*H*WC∗H∗W输入特征图InputInputInput分别按照XXX方向和YYY方向进行池化,分别生成尺寸为C∗H∗1C*H*1C∗H∗1和C∗1∗WC*1*WC∗1∗W的特征图。如下图所示(图片粘贴自B站大佬渣渣的熊猫潘)。 step2:将生成的C∗1∗WC*1*WC∗1∗W的特征图进行变换,然后进行concat操作。公式如下: 将zhz^hzh和zwz^wzw进行concat后生成如下图所示的特征图,然后进行F1操作(利用1*1卷积核进行降维,如SE注意力中操作)和激活操作,生成特征图f∈RC/r×(H+W)×1f \in \mathbb{R}^{C/r\times(H+W)\times1}f∈RC/r×(H+W)×1。 step3:沿着空间维度,再将fff进行split操作,分成fh∈RC/r×H×1f^h\in \mathbb{R}^{C/r\times H \times1}fh∈RC/r×H×1和fw∈RC/r×1×Wf^w\in \mathbb{R}^{C/r\times1\times W}fw∈RC/r×1×W,然后分别利用1×11 \times 11×1卷积进行升维度操作,再结合sigmoid激活函数得到最后的注意力向量gh∈RC×H×1g^h \in \mathbb{R}^{C \times H \times 1 }gh∈RC×H×1和gw∈RC×1×Wg^w\in \mathbb{R}^{C \times1\times W}gw∈RC×1×W。 最后:Coordinate Attention 的输出公式可以写成:

代码

代码粘贴自github。CoordAttention 地址:https://github.com/houqb/CoordAttention/blob/main/mbv2_ca.py

class CoordAtt(nn.Module): def __init__(self, inp, oup, groups=32): super(CoordAtt, self).__init__() self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) self.pool_w = nn.AdaptiveAvgPool2d((1, None)) mip = max(8, inp // groups) self.conv1 = nn.Conv2d(inp, mip, kernel_size=1, stride=1, padding=0) self.bn1 = nn.BatchNorm2d(mip) self.conv2 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.conv3 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.relu = h_swish() def forward(self, x): identity = x n,c,h,w = x.size() x_h = self.pool_h(x) x_w = self.pool_w(x).permute(0, 1, 3, 2) y = torch.cat([x_h, x_w], dim=2) y = self.conv1(y) y = self.bn1(y) y = self.relu(y) x_h, x_w = torch.split(y, [h, w], dim=2) x_w = x_w.permute(0, 1, 3, 2) x_h = self.conv2(x_h).sigmoid() x_w = self.conv3(x_w).sigmoid() x_h = x_h.expand(-1, -1, h, w) x_w = x_w.expand(-1, -1, h, w) y = identity * x_w * x_h return y最后

CA不仅考虑到空间和通道之间的关系,还考虑到长程依赖问题。通过实验发现,CA不仅可以实现精度提升,且参数量、计算量较少。

简单进行记录,如有问题请大家指正。

本文链接地址:https://www.jiuchutong.com/zhishi/290832.html 转载请保留说明!

上一篇:el-table(type=“selection“)多选框两种回显

下一篇:鸟瞰皮纳图博火山湖和山脉,菲律宾波拉克 (© Amazing Aerial Agency/Offset by Shutterstock)(bestars皮纳)

  • 如何巧妙利用微信做营销(如何运用微信)

    如何巧妙利用微信做营销(如何运用微信)

  • 博客是如何帮助企业获得口碑和声誉的(博客是如何帮助客户的)

    博客是如何帮助企业获得口碑和声誉的(博客是如何帮助客户的)

  •  最实用的网络推广四种方法(最实用的网络安全技术)

    最实用的网络推广四种方法(最实用的网络安全技术)

  • 安卓双系统怎么设置(安卓双系统怎么删除一个)

    安卓双系统怎么设置(安卓双系统怎么删除一个)

  • 微信etc没有扣费怎么办(微信etc为什么不从零钱里扣钱)

    微信etc没有扣费怎么办(微信etc为什么不从零钱里扣钱)

  • qq消息免打扰为什么会自己关闭(qq消息免打扰为什么还会提示)

    qq消息免打扰为什么会自己关闭(qq消息免打扰为什么还会提示)

  • 耳机丢了有什么办法能找到(耳机丢了有什么寓意)

    耳机丢了有什么办法能找到(耳机丢了有什么寓意)

  • 哔哩哔哩是什么样的网站(哔哩哔哩是什么平台,适合中学生吗)

    哔哩哔哩是什么样的网站(哔哩哔哩是什么平台,适合中学生吗)

  • 微信号可以解绑手机号码吗(微信号可以解绑银行卡吗)

    微信号可以解绑手机号码吗(微信号可以解绑银行卡吗)

  • nova7带红外线吗(nove7带红外线吗)

    nova7带红外线吗(nove7带红外线吗)

  • 闲鱼付了钱不发货怎么办(闲鱼付钱不发货7天后)

    闲鱼付了钱不发货怎么办(闲鱼付钱不发货7天后)

  • 到了国外还能用微信吗(到了国外还能用流量吗)

    到了国外还能用微信吗(到了国外还能用流量吗)

  • 苹果手机还原网络设置密码是多少(苹果手机还原网络在哪里)

    苹果手机还原网络设置密码是多少(苹果手机还原网络在哪里)

  • 充电器响声是怎么回事(充电器 响声)

    充电器响声是怎么回事(充电器 响声)

  • 序列号fd开头的是什么(序列号f.开头)

    序列号fd开头的是什么(序列号f.开头)

  • 抖音怎么一键清除喜欢(抖音怎么一键清理关注的人)

    抖音怎么一键清除喜欢(抖音怎么一键清理关注的人)

  • 华为p10数据线叫什么(华为p10手机数据线型号)

    华为p10数据线叫什么(华为p10手机数据线型号)

  • 欲盖弥彰是什么意思(欲盖弥彰是什么意思解释)

    欲盖弥彰是什么意思(欲盖弥彰是什么意思解释)

  • 优活手环怎么调中文(优活手环怎么调时间格式)

    优活手环怎么调中文(优活手环怎么调时间格式)

  • 抖音点赞有数量限制吗(抖音点赞有数量,但点开显示无点赞怎么回事)

    抖音点赞有数量限制吗(抖音点赞有数量,但点开显示无点赞怎么回事)

  • 淘宝夜间模式怎么打开(淘宝夜间模式怎么没有了)

    淘宝夜间模式怎么打开(淘宝夜间模式怎么没有了)

  • 探探共同联系人是指什么(探探共同联系人有什么用)

    探探共同联系人是指什么(探探共同联系人有什么用)

  • 华为m6屏幕供应商(华为m6屏幕供应商查询)

    华为m6屏幕供应商(华为m6屏幕供应商查询)

  • oppo微信照片存储位置(oppo微信保存图片不在相册怎么办)

    oppo微信照片存储位置(oppo微信保存图片不在相册怎么办)

  • 拼多多公众号在哪里找(拼多多公众号在哪里关注)

    拼多多公众号在哪里找(拼多多公众号在哪里关注)

  • 陌陌上的金币有什么用(陌陌的金币怎么兑换)

    陌陌上的金币有什么用(陌陌的金币怎么兑换)

  • ipada1954是几寸(ipada1594是多少尺寸的)

    ipada1954是几寸(ipada1594是多少尺寸的)

  • 怎么关掉安全卫士(怎样关掉安全卫士)

    怎么关掉安全卫士(怎样关掉安全卫士)

  • 华为figal00什么型号(华为 fig-al00)

    华为figal00什么型号(华为 fig-al00)

  • 股权app开发功能有哪些(app股权结构)

    股权app开发功能有哪些(app股权结构)

  • php魔术方法__invoke的介绍(PHP魔术方法的作用)

    php魔术方法__invoke的介绍(PHP魔术方法的作用)

  • 计提个税与实际缴纳不一致
  • 公司注册实缴资金能取出吗
  • 企业增值税是什么科目
  • 外籍人员个人所得税政策2022
  • 携程代订住宿发票能作为差旅费报销吗
  • 增值税发票丢失可以用复印件入账么
  • 0税率开票如何做账
  • 贴现的费用怎么入账
  • 销售预付卡纳税税率
  • 一般纳税人条件要求
  • 所得税年度纳税申报表 从业人数怎么填
  • 饭店采购食材没发票
  • 国有资本及权益客观增减因素
  • 股东向企业借款属于关联交易吗
  • 计提代扣代缴个人缴纳的社会保险费分录
  • 分公司亏损是否也分摊所得税
  • 哪些车辆可退还车款
  • 企业授予员工股份的条件
  • 补开的银行手续费发票怎么做账
  • 汽车道路救援费用多少
  • 企业预收款项业务不多的情况下可以不设置预收账款科目
  • 未按期预缴企业个税
  • 已经计提的坏账准备可以转回吗
  • 房地产预缴增值税是含税还是不含税
  • 联营与参股公司的关系
  • 无形资产摊销表模板
  • 承兑汇票重复背书
  • 怎么确认权益性投资收益收入?
  • 基金投资了能随时取出吗
  • 工会经费返还账务处理,另记账么
  • 金税盘发票报送状态未报送
  • 金蝶怎么打开以前的年度账
  • 无法偿还的借款怎么处理
  • 公司增加注册资金需要实缴吗
  • 房地产车位收入做账
  • 营改增后建筑业怎么开票
  • packethsvc.exe - packethsvc是什么进程 有什么用
  • 苹果手机nfc录门禁卡
  • macbook怎么设置输入法
  • 商业会计结转成本
  • ServiceLayer.exe - ServiceLayer是什么进程 有什么用
  • 违约金没有写按什么算
  • unc方式
  • 税收筹划的税种
  • 银行进账单和现金缴款单的区别
  • yii2项目实战之restful api授权验证详解
  • yii框架官网
  • uniapp返回上一页不刷新
  • 固定资产清理应交增值税怎么算
  • 纳税人异地预缴所得税
  • 异地提供建筑服务预缴
  • 将外购商品用于个人消费
  • 首涂第二十一套模板
  • 帝国cms吧
  • 瓶盖再来一次表情包
  • 有限合伙企业成本费用抵扣
  • 公司跟个体户的税收
  • 核定征收的企业需要汇算清缴吗
  • 结转利润分配的二级明细账户
  • 库存商品进项税额转出分录怎么写
  • 弥补企业以前年度亏损 顺序
  • 担保贷款借款人死亡
  • 电子产品多少金额要交税
  • wrsvn.exe是什么文件
  • win7开机chkdsk
  • solaris 安装
  • 访问win10
  • win8怎么清空电脑只剩系统
  • 游戏类游戏开发
  • cocos2dx 3.3 quick lua 实现返回键退出程序
  • Web Inspector:关于在 Sublime Text 中调试Js的介绍
  • python处理文本文件代码优化
  • 有关的拼音
  • javascript keyup
  • 河南税务局官网手机版
  • 东莞各税务分局电话
  • 物业公司收取物业费要交税吗
  • 代扣国地税什么意思
  • 内蒙古国家税务局网上电子税务局官网
  • 差额开票扣除额多补税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设