位置: IT常识 - 正文

注意力机制-CA注意力-Coordinate attention(注意力机制详解)

编辑:rootadmin
注意力机制-CA注意力-Coordinate attention 注意力机制学习--CA(Coordinate attention)简介CA注意力机制的优势:提出不足算法流程图代码最后简介

推荐整理分享注意力机制-CA注意力-Coordinate attention(注意力机制详解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:注意力机制 cv,注意力机制 lstm,注意力机制 cv,注意力机制 cv,注意力机制 q k v,注意力机制 lstm,注意力机制cbam,注意力机制工作原理,内容如对您有帮助,希望把文章链接给更多的朋友!

CA(Coordinate attention for efficient mobile network design)发表在CVPR2021,帮助轻量级网络涨点、即插即用。

CA注意力机制的优势:注意力机制-CA注意力-Coordinate attention(注意力机制详解)

1、不仅考虑了通道信息,还考虑了方向相关的位置信息。 2、足够的灵活和轻量,能够简单的插入到轻量级网络的核心模块中。

提出不足

1、SE注意力中只关注构建通道之间的相互依赖关系,忽略了空间特征。 2、CBAM中引入了大尺度的卷积核提取空间特征,但忽略了长程依赖问题。

算法流程图

step1: 为了避免空间信息全部压缩到通道中,这里没有使用全局平均池化。为了能够捕获具有精准位置信息的远程空间交互,对全局平均池化进行的分解,具体如下: 对尺寸为C∗H∗WC*H*WC∗H∗W输入特征图InputInputInput分别按照XXX方向和YYY方向进行池化,分别生成尺寸为C∗H∗1C*H*1C∗H∗1和C∗1∗WC*1*WC∗1∗W的特征图。如下图所示(图片粘贴自B站大佬渣渣的熊猫潘)。 step2:将生成的C∗1∗WC*1*WC∗1∗W的特征图进行变换,然后进行concat操作。公式如下: 将zhz^hzh和zwz^wzw进行concat后生成如下图所示的特征图,然后进行F1操作(利用1*1卷积核进行降维,如SE注意力中操作)和激活操作,生成特征图f∈RC/r×(H+W)×1f \in \mathbb{R}^{C/r\times(H+W)\times1}f∈RC/r×(H+W)×1。 step3:沿着空间维度,再将fff进行split操作,分成fh∈RC/r×H×1f^h\in \mathbb{R}^{C/r\times H \times1}fh∈RC/r×H×1和fw∈RC/r×1×Wf^w\in \mathbb{R}^{C/r\times1\times W}fw∈RC/r×1×W,然后分别利用1×11 \times 11×1卷积进行升维度操作,再结合sigmoid激活函数得到最后的注意力向量gh∈RC×H×1g^h \in \mathbb{R}^{C \times H \times 1 }gh∈RC×H×1和gw∈RC×1×Wg^w\in \mathbb{R}^{C \times1\times W}gw∈RC×1×W。 最后:Coordinate Attention 的输出公式可以写成:

代码

代码粘贴自github。CoordAttention 地址:https://github.com/houqb/CoordAttention/blob/main/mbv2_ca.py

class CoordAtt(nn.Module): def __init__(self, inp, oup, groups=32): super(CoordAtt, self).__init__() self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) self.pool_w = nn.AdaptiveAvgPool2d((1, None)) mip = max(8, inp // groups) self.conv1 = nn.Conv2d(inp, mip, kernel_size=1, stride=1, padding=0) self.bn1 = nn.BatchNorm2d(mip) self.conv2 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.conv3 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.relu = h_swish() def forward(self, x): identity = x n,c,h,w = x.size() x_h = self.pool_h(x) x_w = self.pool_w(x).permute(0, 1, 3, 2) y = torch.cat([x_h, x_w], dim=2) y = self.conv1(y) y = self.bn1(y) y = self.relu(y) x_h, x_w = torch.split(y, [h, w], dim=2) x_w = x_w.permute(0, 1, 3, 2) x_h = self.conv2(x_h).sigmoid() x_w = self.conv3(x_w).sigmoid() x_h = x_h.expand(-1, -1, h, w) x_w = x_w.expand(-1, -1, h, w) y = identity * x_w * x_h return y最后

CA不仅考虑到空间和通道之间的关系,还考虑到长程依赖问题。通过实验发现,CA不仅可以实现精度提升,且参数量、计算量较少。

简单进行记录,如有问题请大家指正。

本文链接地址:https://www.jiuchutong.com/zhishi/290832.html 转载请保留说明!

上一篇:el-table(type=“selection“)多选框两种回显

下一篇:鸟瞰皮纳图博火山湖和山脉,菲律宾波拉克 (© Amazing Aerial Agency/Offset by Shutterstock)(bestars皮纳)

  • iphone13怎么看快充模式(iphone13怎么看快充标志)

    iphone13怎么看快充模式(iphone13怎么看快充标志)

  • 爱奇艺微博登录在哪里(手机爱奇艺怎么用新浪微博登录)

    爱奇艺微博登录在哪里(手机爱奇艺怎么用新浪微博登录)

  • word 病毒主要感染并隐藏在word文件中(word文档病毒 症状)

    word 病毒主要感染并隐藏在word文件中(word文档病毒 症状)

  • 视频剪辑的软件有什么(视频剪辑软件是对视频源进行什么编辑的软件)

    视频剪辑的软件有什么(视频剪辑软件是对视频源进行什么编辑的软件)

  • iphone来电灯光闪烁在哪里设置(iphone 来电 闪灯)

    iphone来电灯光闪烁在哪里设置(iphone 来电 闪灯)

  • rs和gis的区别(rs与gis与gps怎么区分)

    rs和gis的区别(rs与gis与gps怎么区分)

  • 层次型网状型和关系型数据库划分原则是(层次型网状型和关系型数据库划分原则是联系的复杂程度)

    层次型网状型和关系型数据库划分原则是(层次型网状型和关系型数据库划分原则是联系的复杂程度)

  • 腾讯会议不自动连接音频(腾讯会议不自动隐藏任务栏)

    腾讯会议不自动连接音频(腾讯会议不自动隐藏任务栏)

  • 蓝牙耳机放回仓就充电吗(蓝牙耳机放回仓里还在连接状态)

    蓝牙耳机放回仓就充电吗(蓝牙耳机放回仓里还在连接状态)

  • 无线话筒不响如何解决(无线话筒不发音怎么办)

    无线话筒不响如何解决(无线话筒不发音怎么办)

  • 电脑显示屏开机亮一下就不亮了怎么回事(电脑显示屏开机后黑屏怎么回事)

    电脑显示屏开机亮一下就不亮了怎么回事(电脑显示屏开机后黑屏怎么回事)

  • 北京微播视界是抖音吗(北京微播视界是干嘛的)

    北京微播视界是抖音吗(北京微播视界是干嘛的)

  • 如何用优酷录视频(优酷如何录视频)

    如何用优酷录视频(优酷如何录视频)

  • 华为手机缓存的视频在哪里(华为手机缓存的电视剧在哪里)

    华为手机缓存的视频在哪里(华为手机缓存的电视剧在哪里)

  • oppor17镜像功能在哪(oppo手机的镜像功能)

    oppor17镜像功能在哪(oppo手机的镜像功能)

  • 快手主页链接在哪(快手的主页链接在哪里)

    快手主页链接在哪(快手的主页链接在哪里)

  • 苹果信息怎么同步到新手机(苹果信息怎么同步到安卓)

    苹果信息怎么同步到新手机(苹果信息怎么同步到安卓)

  • qq简洁模式扩列怎么关(qq简洁模式怎么弄)

    qq简洁模式扩列怎么关(qq简洁模式怎么弄)

  • 一开机就显示热点资讯(电脑开机就热)

    一开机就显示热点资讯(电脑开机就热)

  • 特征提取技术包括哪些(特征提取技术工作原理)

    特征提取技术包括哪些(特征提取技术工作原理)

  • mate30国内发布时间(mate30发售)

    mate30国内发布时间(mate30发售)

  • Win10任务栏图标点击没反应怎么办? 任务栏图标点击无效的解决办法(win10任务栏图标怎么变大)

    Win10任务栏图标点击没反应怎么办? 任务栏图标点击无效的解决办法(win10任务栏图标怎么变大)

  • 怎么进行win7在线重装系统?(win7怎么运行在哪里设置)

    怎么进行win7在线重装系统?(win7怎么运行在哪里设置)

  • 如何在BIOS中进行设置 怎么设置bios(bios 怎么进去)

    如何在BIOS中进行设置 怎么设置bios(bios 怎么进去)

  • 我一定要用vue3+ts吗?(我一定要用自己的双手拼出来)

    我一定要用vue3+ts吗?(我一定要用自己的双手拼出来)

  • 计提企业所得税会计科目
  • 税收成本包括哪些
  • 个人服务费发票几个点
  • 个税返还什么时候到账
  • 账户利息怎么做账务处理
  • 没有认证怎么办
  • 开票方丢失记账怎么处理
  • 附加税减半征收政策从什么时候开始
  • 母子公司借款要交什么税
  • 资产负债表里是科目还是项目
  • 应收利息对应什么科目
  • 出售资产时递延所得税怎么处理
  • 商品非正常损耗收取的赔偿款账务处理怎么做?
  • 企业所得税核定征收怎么计算
  • 打印出来的明细账怎么装订
  • 会计人员应掌握的知识
  • 当月发的奖金怎么扣个税
  • 销售不动产预收款纳税义务发生时间
  • 现金短缺属于出纳员负责如何做会计处理
  • 本月已认证发票还能撤销吗
  • 免抵退税的范围
  • 备抵法发生坏账分录
  • 查账征收的个体户注销流程
  • 手动设定ip地址后连不上网
  • win11怎么取消开机启动项
  • 期初建账分录
  • 贷款房屋评估费用
  • php和ajax用哪个调用数据
  • 预付款发票不能回来了怎么处理
  • 混凝土简易计税能抵扣么
  • 报销办公用品会计分录计入其他应付还是其他应收
  • Cusco Cathedral on the Plaza de Armas, Cusco, Peru (© sharptoyou/Shutterstock)
  • batch size 大小
  • 员工报销个人抬头的医疗费打款备注写什么
  • php十进制转二进制算法
  • php中.的作用
  • 如何使用rank函数排名
  • vscode插件在哪
  • 增值税发票红字发票未抵扣怎么开
  • 金税盘维护费发票
  • 小规模纳税人税控盘怎么抵税
  • 企业存货核算范围
  • 建筑劳务公司的税率是多少
  • 网上代增值税专用发票
  • 为什么要加大研发投入
  • 会计估计变更和政策变更有哪些
  • 调整以前年度所得
  • 企业买车购置税可以抵增值税吗
  • 票折费用是什么意思
  • 残疾人就业保障金
  • 香港公司账户收美元要交税吗
  • 旅行社代订机票便宜吗
  • mysql连接是什么协议
  • 购物车功能实现思路
  • thinkpad x230笔记本电脑
  • 详细介绍的英文
  • win7更改win10系统要怎么更改
  • lumia1020手机
  • 升级怎么玩
  • linux 多网卡配置
  • 盗版xp黑屏的解决办法
  • Linux系统怎么设置窗口关闭按键在右侧
  • linux常用命令kill
  • linux中sed命令
  • win10系统如何打开
  • win8.1应用
  • nodejs自启动
  • python中文分词代码
  • unity3d documentation
  • JavaScript中的math.pi
  • jquery操作元素样式
  • Android使用opencv处理图片灰度
  • js arrayfrom
  • 广东省为什么电不够用
  • 个人去税务局开劳务费怎么开
  • 广州酒家月饼抽奖公告最新
  • 酒店,旅店的营业范围
  • 公办幼儿园和企办幼儿园区别
  • 地税完税证明是什么样子
  • 江西公积金提取代办
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设