位置: IT常识 - 正文

注意力机制-CA注意力-Coordinate attention(注意力机制详解)

编辑:rootadmin
注意力机制-CA注意力-Coordinate attention 注意力机制学习--CA(Coordinate attention)简介CA注意力机制的优势:提出不足算法流程图代码最后简介

推荐整理分享注意力机制-CA注意力-Coordinate attention(注意力机制详解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:注意力机制 cv,注意力机制 lstm,注意力机制 cv,注意力机制 cv,注意力机制 q k v,注意力机制 lstm,注意力机制cbam,注意力机制工作原理,内容如对您有帮助,希望把文章链接给更多的朋友!

CA(Coordinate attention for efficient mobile network design)发表在CVPR2021,帮助轻量级网络涨点、即插即用。

CA注意力机制的优势:注意力机制-CA注意力-Coordinate attention(注意力机制详解)

1、不仅考虑了通道信息,还考虑了方向相关的位置信息。 2、足够的灵活和轻量,能够简单的插入到轻量级网络的核心模块中。

提出不足

1、SE注意力中只关注构建通道之间的相互依赖关系,忽略了空间特征。 2、CBAM中引入了大尺度的卷积核提取空间特征,但忽略了长程依赖问题。

算法流程图

step1: 为了避免空间信息全部压缩到通道中,这里没有使用全局平均池化。为了能够捕获具有精准位置信息的远程空间交互,对全局平均池化进行的分解,具体如下: 对尺寸为C∗H∗WC*H*WC∗H∗W输入特征图InputInputInput分别按照XXX方向和YYY方向进行池化,分别生成尺寸为C∗H∗1C*H*1C∗H∗1和C∗1∗WC*1*WC∗1∗W的特征图。如下图所示(图片粘贴自B站大佬渣渣的熊猫潘)。 step2:将生成的C∗1∗WC*1*WC∗1∗W的特征图进行变换,然后进行concat操作。公式如下: 将zhz^hzh和zwz^wzw进行concat后生成如下图所示的特征图,然后进行F1操作(利用1*1卷积核进行降维,如SE注意力中操作)和激活操作,生成特征图f∈RC/r×(H+W)×1f \in \mathbb{R}^{C/r\times(H+W)\times1}f∈RC/r×(H+W)×1。 step3:沿着空间维度,再将fff进行split操作,分成fh∈RC/r×H×1f^h\in \mathbb{R}^{C/r\times H \times1}fh∈RC/r×H×1和fw∈RC/r×1×Wf^w\in \mathbb{R}^{C/r\times1\times W}fw∈RC/r×1×W,然后分别利用1×11 \times 11×1卷积进行升维度操作,再结合sigmoid激活函数得到最后的注意力向量gh∈RC×H×1g^h \in \mathbb{R}^{C \times H \times 1 }gh∈RC×H×1和gw∈RC×1×Wg^w\in \mathbb{R}^{C \times1\times W}gw∈RC×1×W。 最后:Coordinate Attention 的输出公式可以写成:

代码

代码粘贴自github。CoordAttention 地址:https://github.com/houqb/CoordAttention/blob/main/mbv2_ca.py

class CoordAtt(nn.Module): def __init__(self, inp, oup, groups=32): super(CoordAtt, self).__init__() self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) self.pool_w = nn.AdaptiveAvgPool2d((1, None)) mip = max(8, inp // groups) self.conv1 = nn.Conv2d(inp, mip, kernel_size=1, stride=1, padding=0) self.bn1 = nn.BatchNorm2d(mip) self.conv2 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.conv3 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.relu = h_swish() def forward(self, x): identity = x n,c,h,w = x.size() x_h = self.pool_h(x) x_w = self.pool_w(x).permute(0, 1, 3, 2) y = torch.cat([x_h, x_w], dim=2) y = self.conv1(y) y = self.bn1(y) y = self.relu(y) x_h, x_w = torch.split(y, [h, w], dim=2) x_w = x_w.permute(0, 1, 3, 2) x_h = self.conv2(x_h).sigmoid() x_w = self.conv3(x_w).sigmoid() x_h = x_h.expand(-1, -1, h, w) x_w = x_w.expand(-1, -1, h, w) y = identity * x_w * x_h return y最后

CA不仅考虑到空间和通道之间的关系,还考虑到长程依赖问题。通过实验发现,CA不仅可以实现精度提升,且参数量、计算量较少。

简单进行记录,如有问题请大家指正。

本文链接地址:https://www.jiuchutong.com/zhishi/290832.html 转载请保留说明!

上一篇:el-table(type=“selection“)多选框两种回显

下一篇:鸟瞰皮纳图博火山湖和山脉,菲律宾波拉克 (© Amazing Aerial Agency/Offset by Shutterstock)(bestars皮纳)

  • 华为nova6对比荣耀20青春版(华为nova6对比荣耀9x)

    华为nova6对比荣耀20青春版(华为nova6对比荣耀9x)

  • 华为荣耀8手机像素多少(华为荣耀8手机价格)

    华为荣耀8手机像素多少(华为荣耀8手机价格)

  • QQ情侣空间留言板在哪里(qq情侣空间留言板怎么删除)

    QQ情侣空间留言板在哪里(qq情侣空间留言板怎么删除)

  • 太阳能灯闪红灯就是在充电吗(太阳能灯闪红灯不亮是什么原因)

    太阳能灯闪红灯就是在充电吗(太阳能灯闪红灯不亮是什么原因)

  • 路由器和机顶盒的区别(路由器和机顶盒灯都不亮)

    路由器和机顶盒的区别(路由器和机顶盒灯都不亮)

  • 微信朋友圈可以发多久的长视频(微信朋友圈可以定时发送吗)

    微信朋友圈可以发多久的长视频(微信朋友圈可以定时发送吗)

  • 移动卡hd怎么取消(移动卡如何关闭hd)

    移动卡hd怎么取消(移动卡如何关闭hd)

  • 信息网络主要划分什么(信息网络的主要构成部分)

    信息网络主要划分什么(信息网络的主要构成部分)

  • 苹果11音量键没弹性怎么修复(苹果11音量键没反应)

    苹果11音量键没弹性怎么修复(苹果11音量键没反应)

  • 手机qq如何建群聊(手机qq上如何建群)

    手机qq如何建群聊(手机qq上如何建群)

  • norton internet security是什么(norton internet security怎么关闭)

    norton internet security是什么(norton internet security怎么关闭)

  • oppor15内屏碎了(oppor15x手机内屏坏了多少钱)

    oppor15内屏碎了(oppor15x手机内屏坏了多少钱)

  • 淘宝聚划算订单在哪里(淘宝聚划算怎么下单)

    淘宝聚划算订单在哪里(淘宝聚划算怎么下单)

  • 如何取消流量提醒短信(如何取消流量提速)

    如何取消流量提醒短信(如何取消流量提速)

  • 饿了吗骑手年龄限制(饿了吗骑手年龄最大多少)

    饿了吗骑手年龄限制(饿了吗骑手年龄最大多少)

  • 闪电盒子怎么解除绑定(闪电盒子自刷教程)

    闪电盒子怎么解除绑定(闪电盒子自刷教程)

  • 淘宝和闲鱼是一个账号吗(淘宝和闲鱼是一家公司吗)

    淘宝和闲鱼是一个账号吗(淘宝和闲鱼是一家公司吗)

  • 网易云热评墙在哪里啊(网易云热评墙在哪)

    网易云热评墙在哪里啊(网易云热评墙在哪)

  • 抖音变瘦特效在哪(抖音瘦特效没有了?)

    抖音变瘦特效在哪(抖音瘦特效没有了?)

  • 微信群发所有人怎么发(微信群发所有人怎么撤回)

    微信群发所有人怎么发(微信群发所有人怎么撤回)

  • vivo微信锁在哪里设置(vivo手机微信锁住了怎么办)

    vivo微信锁在哪里设置(vivo手机微信锁住了怎么办)

  • ps中如何将破旧的门变新(ps怎么破碎图片)

    ps中如何将破旧的门变新(ps怎么破碎图片)

  • 如何在uniapp中优雅地使用WebView(uniapp如何使用)

    如何在uniapp中优雅地使用WebView(uniapp如何使用)

  • 使用stable diffusion webui时,安装gfpgan失败的解决方案(windows下的操作)(使用二氧化碳灭火器时人应该站在什么位置)

    使用stable diffusion webui时,安装gfpgan失败的解决方案(windows下的操作)(使用二氧化碳灭火器时人应该站在什么位置)

  • 冲回多计提费用
  • 税金及附加会计分录
  • 企业所得税的纳税义务人不包括下列哪类企业
  • 销售商品收到转账支票计入什么科目
  • 从一个公司到另一个公司公积金
  • 影响无形资产项目金额的有
  • 企业自建固定资产
  • 短期借款会计核算
  • 长期股权投资权益法下初始投资成本
  • 预付账款是
  • 公司贷款买车是公司还款吗
  • 支付外聘老师的培训费
  • 业务宣传费超出部分以后年度怎样处理
  • 亏损企业股东年底借钱未还
  • 个人独资企业核定
  • 季度销售额不超过30万,城建税减免
  • 税控盘维护费抵减分录
  • 生产型企业原材料出入库处理
  • 公司购酒的发票可以开多少
  • 增值税的附加税有哪些,税费多少
  • 企业职工集资款的认定标准
  • Win10任务栏图标居中
  • 联想Lenovo ThinkPad X13 Gen1
  • tracert命令的用法
  • win7系统中怎样没有智能卡这一选项
  • 如何通过路由器查看宽带账号密码
  • 开发票时,一张发票上不同税率要符合哪些要求?
  • php 首字母大写
  • 融资租赁的两种基本形式
  • 直运商品委托代销商品的销售成本的计算方法应采用
  • 应收款项减值的核算方法
  • php十进制转二进制算法
  • 数据库管理系统能对数据库中的数据进行查询
  • 给分公司开的发票,总公司付的款可以吗
  • 吸收合并的目的是什么
  • 印花税减免退回会计分录
  • 已申报营业税未开发票
  • 个体经营所得税核定征收2023税率
  • sql查表结构语句
  • sqlserver怎么清空表数据
  • 银行对帐单
  • 开票内容不在经营范围内
  • 核定征收的三种方式
  • 可转债中签后怎么看涨跌
  • 金融企业应当按照交易或事项的实质和经济现实
  • 企业库存现金的限额是
  • 分红股份会减少吗
  • 增值税为什么要结转
  • 去年计提的费用今年取得发票 汇算清缴
  • 城建税多交了怎么办
  • 什么是调表不调账
  • 公司借款给个人400万合法吗
  • 销售过程中发生的商业折扣计入
  • 制造费用可以计提吗
  • 已认证发票退回说明模板
  • 仓库用托盘怎么入账
  • 退回的个税手续费如何账务处理
  • 市场营销策划开票品目
  • 营业外支出贷方余额
  • 怎么用两台电脑登录同一个微信
  • 收派服务费可以简易计税吗
  • 代开的专票作废了怎么做账?
  • 更换账簿需要注意哪些问题
  • mysql索引基础
  • 破解xp系统密码
  • Vista 优化预读文件设置,提速开关机速度
  • jinjia.exe进程
  • aow_exe.exe是什么进程
  • 微软正式推出wind...
  • linux查询ipv4
  • opengl opengl
  • js中eval函数是干嘛的
  • jquery插件怎么用到自己的网站
  • easyui datagrid loader
  • 如何给图像应用css滤镜处理效果
  • css可继承
  • js设计模式和开发实践
  • 江苏税务ukey怎么申请
  • 办理企业步骤
  • 汽车维修费税率是13还是6
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设