位置: IT常识 - 正文

注意力机制-CA注意力-Coordinate attention(注意力机制详解)

编辑:rootadmin
注意力机制-CA注意力-Coordinate attention 注意力机制学习--CA(Coordinate attention)简介CA注意力机制的优势:提出不足算法流程图代码最后简介

推荐整理分享注意力机制-CA注意力-Coordinate attention(注意力机制详解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:注意力机制 cv,注意力机制 lstm,注意力机制 cv,注意力机制 cv,注意力机制 q k v,注意力机制 lstm,注意力机制cbam,注意力机制工作原理,内容如对您有帮助,希望把文章链接给更多的朋友!

CA(Coordinate attention for efficient mobile network design)发表在CVPR2021,帮助轻量级网络涨点、即插即用。

CA注意力机制的优势:注意力机制-CA注意力-Coordinate attention(注意力机制详解)

1、不仅考虑了通道信息,还考虑了方向相关的位置信息。 2、足够的灵活和轻量,能够简单的插入到轻量级网络的核心模块中。

提出不足

1、SE注意力中只关注构建通道之间的相互依赖关系,忽略了空间特征。 2、CBAM中引入了大尺度的卷积核提取空间特征,但忽略了长程依赖问题。

算法流程图

step1: 为了避免空间信息全部压缩到通道中,这里没有使用全局平均池化。为了能够捕获具有精准位置信息的远程空间交互,对全局平均池化进行的分解,具体如下: 对尺寸为C∗H∗WC*H*WC∗H∗W输入特征图InputInputInput分别按照XXX方向和YYY方向进行池化,分别生成尺寸为C∗H∗1C*H*1C∗H∗1和C∗1∗WC*1*WC∗1∗W的特征图。如下图所示(图片粘贴自B站大佬渣渣的熊猫潘)。 step2:将生成的C∗1∗WC*1*WC∗1∗W的特征图进行变换,然后进行concat操作。公式如下: 将zhz^hzh和zwz^wzw进行concat后生成如下图所示的特征图,然后进行F1操作(利用1*1卷积核进行降维,如SE注意力中操作)和激活操作,生成特征图f∈RC/r×(H+W)×1f \in \mathbb{R}^{C/r\times(H+W)\times1}f∈RC/r×(H+W)×1。 step3:沿着空间维度,再将fff进行split操作,分成fh∈RC/r×H×1f^h\in \mathbb{R}^{C/r\times H \times1}fh∈RC/r×H×1和fw∈RC/r×1×Wf^w\in \mathbb{R}^{C/r\times1\times W}fw∈RC/r×1×W,然后分别利用1×11 \times 11×1卷积进行升维度操作,再结合sigmoid激活函数得到最后的注意力向量gh∈RC×H×1g^h \in \mathbb{R}^{C \times H \times 1 }gh∈RC×H×1和gw∈RC×1×Wg^w\in \mathbb{R}^{C \times1\times W}gw∈RC×1×W。 最后:Coordinate Attention 的输出公式可以写成:

代码

代码粘贴自github。CoordAttention 地址:https://github.com/houqb/CoordAttention/blob/main/mbv2_ca.py

class CoordAtt(nn.Module): def __init__(self, inp, oup, groups=32): super(CoordAtt, self).__init__() self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) self.pool_w = nn.AdaptiveAvgPool2d((1, None)) mip = max(8, inp // groups) self.conv1 = nn.Conv2d(inp, mip, kernel_size=1, stride=1, padding=0) self.bn1 = nn.BatchNorm2d(mip) self.conv2 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.conv3 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.relu = h_swish() def forward(self, x): identity = x n,c,h,w = x.size() x_h = self.pool_h(x) x_w = self.pool_w(x).permute(0, 1, 3, 2) y = torch.cat([x_h, x_w], dim=2) y = self.conv1(y) y = self.bn1(y) y = self.relu(y) x_h, x_w = torch.split(y, [h, w], dim=2) x_w = x_w.permute(0, 1, 3, 2) x_h = self.conv2(x_h).sigmoid() x_w = self.conv3(x_w).sigmoid() x_h = x_h.expand(-1, -1, h, w) x_w = x_w.expand(-1, -1, h, w) y = identity * x_w * x_h return y最后

CA不仅考虑到空间和通道之间的关系,还考虑到长程依赖问题。通过实验发现,CA不仅可以实现精度提升,且参数量、计算量较少。

简单进行记录,如有问题请大家指正。

本文链接地址:https://www.jiuchutong.com/zhishi/290832.html 转载请保留说明!

上一篇:el-table(type=“selection“)多选框两种回显

下一篇:鸟瞰皮纳图博火山湖和山脉,菲律宾波拉克 (© Amazing Aerial Agency/Offset by Shutterstock)(bestars皮纳)

  • 如何利用微博来推广论坛(怎么用好微博)

    如何利用微博来推广论坛(怎么用好微博)

  • QQ群推广的经验心得(qq群推广app怎么赚钱)

    QQ群推广的经验心得(qq群推广app怎么赚钱)

  • 荣耀30pro支持无线快充的吗(荣耀30pro支持无线座充吗)

    荣耀30pro支持无线快充的吗(荣耀30pro支持无线座充吗)

  • 苹果相册画笔在哪里(苹果相册里的画笔在哪里)

    苹果相册画笔在哪里(苹果相册里的画笔在哪里)

  • iphone11升级了什么(苹果11升级了什么好处)

    iphone11升级了什么(苹果11升级了什么好处)

  • null抖音被删除(抖音被误删了怎么办)

    null抖音被删除(抖音被误删了怎么办)

  • 抖音拉黑能看对方吗(抖音拉黑能看对方在线吗)

    抖音拉黑能看对方吗(抖音拉黑能看对方在线吗)

  • 苹果11通话设置在哪(苹果11手机通话怎么录音)

    苹果11通话设置在哪(苹果11手机通话怎么录音)

  • displayname无效什么意思(display-name报错)

    displayname无效什么意思(display-name报错)

  • 路由器网关地址是多少(路由器网关地址和ip地址可以一样吗)

    路由器网关地址是多少(路由器网关地址和ip地址可以一样吗)

  • 京东黑号怎么恢复白号(京东黑号了怎么办?京东黑号的洗白方法)

    京东黑号怎么恢复白号(京东黑号了怎么办?京东黑号的洗白方法)

  • usb-c转闪电啥意思(usb—c转闪电)

    usb-c转闪电啥意思(usb—c转闪电)

  • 抖音直播10万音浪可以提现多少人民币(抖音直播10万音浪)

    抖音直播10万音浪可以提现多少人民币(抖音直播10万音浪)

  • 抖音怎样把喜欢的作品删除掉(抖音怎样把喜欢隐藏)

    抖音怎样把喜欢的作品删除掉(抖音怎样把喜欢隐藏)

  • 拼多多的奇异水滴花有什么用(拼多多 奇迹)

    拼多多的奇异水滴花有什么用(拼多多 奇迹)

  • 苹果手机怎么当电视遥控器(苹果手机怎么当空调遥控器用)

    苹果手机怎么当电视遥控器(苹果手机怎么当空调遥控器用)

  • 华为充电器有pd协议吗(华为充电器有必要买原装的吗)

    华为充电器有pd协议吗(华为充电器有必要买原装的吗)

  • word文档保存后不见了(word文档保存后内容不见了怎么办)

    word文档保存后不见了(word文档保存后内容不见了怎么办)

  • 什么软件可以打电话不显示手机号(什么软件可以打开dwg图纸)

    什么软件可以打电话不显示手机号(什么软件可以打开dwg图纸)

  • 十进制小数转二进制(十进制小数转二进制方法)

    十进制小数转二进制(十进制小数转二进制方法)

  • 拼多多为啥评价不显示(拼多多为啥评价了店家评价看不到)

    拼多多为啥评价不显示(拼多多为啥评价了店家评价看不到)

  • 15位明星身家熊市缩水3亿

    15位明星身家熊市缩水3亿 "小巨人"姚明市值缩水4500万 延展阅读新华网(明星身价几十亿)

  • layui框架教程(layui框架模板)

    layui框架教程(layui框架模板)

  • 公司办资质的发票入什么科目
  • 企业的筹建期允许有多长?
  • 发票已经做账但要退款账不平咋办
  • 食堂临聘人员的管理、考核
  • 借款利息收入所得税
  • 发票代码和发票号码是什么
  • 酒店应不应该为员工提供澡堂
  • 新个税劳务费税率怎么算
  • 主营业务收入如何红冲
  • 税率修改后对价格的影响
  • 劳务费的专用发票有哪些
  • 新成立的公司银行存款如何入账
  • 员工买了多项东西怎么说
  • 合伙企业购买股票产生的收益需要缴纳税款吗
  • 污水处理厂税收风险
  • 一般纳税人增值税申报操作流程
  • 跨月预缴如何做账
  • 法人股东分红如何申报所得税
  • 三险一金专项扣除怎么查
  • 如何不同版本复制粘贴
  • 无形资产有哪些摊销方法
  • 收到投资方投入设备一台,投资合同约定其价值
  • 判断技巧
  • 系统之家哪个系统比较好用
  • 小规模纳税人的企业所得税怎么算
  • 辅助生产成本如何结转
  • 二手车交易税咋算
  • 税务登记 申报
  • php 算法
  • 帝国cms移动端
  • 固定资产改造后如何计提折旧
  • php代码报错
  • axios入门
  • 单位管理费用核算范围包括
  • php自动提交表单
  • 投喂小鸟
  • 加计抵减和加计扣除是一样的吗
  • 回顾2021年作文
  • 计算机视觉未来发展方向
  • yolov5加入注意力机制后网络后进行剪枝
  • 商场售后返租
  • 拨出专款年末结转
  • 小企业发出存货成本的计量方法有
  • 应收的货款
  • python模块的扩展名
  • 私募基金成立备案流程
  • 财务报表年报应怎么做
  • 公司向股东借款多久必须归还
  • SQL 2005 ERROR:3145 解决办法(备份集中的数据库备份与现有的数据库不同)
  • 债权投资减值对股票影响
  • 公司收到生育津贴不给员工
  • 对方公司倒闭应收账款,销售需要承担吗
  • 公司代缴的社保能不能取出来
  • 上月做了未开票收入,这月开了票怎么报税
  • 长期待摊费用包括增值税吗
  • 分公司做账报税
  • 错误原始凭证怎么写
  • 新企业设置账簿
  • mysql replace正则表达式
  • 磁盘缓存技术
  • sqlserver存储过程怎么查看
  • win10 rs5
  • xp 修复
  • 电脑怎样进入安全模式
  • win8屏幕键盘快捷键
  • windows8如何添加打印机
  • linux系统怎么访问网页
  • red hat linux安装
  • 关于混合基金投资风险以下表述正确的是
  • node.js连接mysql的数据怎么可视化
  • flask完整项目实例
  • nodejs发送图片给前端
  • javascript学习指南
  • android获取本机ip地址
  • 1、BluetoothChat之BluetoothChat.java
  • python 入门
  • 长春市税务局电话号
  • 海南海葬需要多少费用
  • 为什么企业减少注册资金的原因
  • 纳税申报的期限是什么意思
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设