位置: IT常识 - 正文

注意力机制-CA注意力-Coordinate attention(注意力机制详解)

编辑:rootadmin
注意力机制-CA注意力-Coordinate attention 注意力机制学习--CA(Coordinate attention)简介CA注意力机制的优势:提出不足算法流程图代码最后简介

推荐整理分享注意力机制-CA注意力-Coordinate attention(注意力机制详解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:注意力机制 cv,注意力机制 lstm,注意力机制 cv,注意力机制 cv,注意力机制 q k v,注意力机制 lstm,注意力机制cbam,注意力机制工作原理,内容如对您有帮助,希望把文章链接给更多的朋友!

CA(Coordinate attention for efficient mobile network design)发表在CVPR2021,帮助轻量级网络涨点、即插即用。

CA注意力机制的优势:注意力机制-CA注意力-Coordinate attention(注意力机制详解)

1、不仅考虑了通道信息,还考虑了方向相关的位置信息。 2、足够的灵活和轻量,能够简单的插入到轻量级网络的核心模块中。

提出不足

1、SE注意力中只关注构建通道之间的相互依赖关系,忽略了空间特征。 2、CBAM中引入了大尺度的卷积核提取空间特征,但忽略了长程依赖问题。

算法流程图

step1: 为了避免空间信息全部压缩到通道中,这里没有使用全局平均池化。为了能够捕获具有精准位置信息的远程空间交互,对全局平均池化进行的分解,具体如下: 对尺寸为C∗H∗WC*H*WC∗H∗W输入特征图InputInputInput分别按照XXX方向和YYY方向进行池化,分别生成尺寸为C∗H∗1C*H*1C∗H∗1和C∗1∗WC*1*WC∗1∗W的特征图。如下图所示(图片粘贴自B站大佬渣渣的熊猫潘)。 step2:将生成的C∗1∗WC*1*WC∗1∗W的特征图进行变换,然后进行concat操作。公式如下: 将zhz^hzh和zwz^wzw进行concat后生成如下图所示的特征图,然后进行F1操作(利用1*1卷积核进行降维,如SE注意力中操作)和激活操作,生成特征图f∈RC/r×(H+W)×1f \in \mathbb{R}^{C/r\times(H+W)\times1}f∈RC/r×(H+W)×1。 step3:沿着空间维度,再将fff进行split操作,分成fh∈RC/r×H×1f^h\in \mathbb{R}^{C/r\times H \times1}fh∈RC/r×H×1和fw∈RC/r×1×Wf^w\in \mathbb{R}^{C/r\times1\times W}fw∈RC/r×1×W,然后分别利用1×11 \times 11×1卷积进行升维度操作,再结合sigmoid激活函数得到最后的注意力向量gh∈RC×H×1g^h \in \mathbb{R}^{C \times H \times 1 }gh∈RC×H×1和gw∈RC×1×Wg^w\in \mathbb{R}^{C \times1\times W}gw∈RC×1×W。 最后:Coordinate Attention 的输出公式可以写成:

代码

代码粘贴自github。CoordAttention 地址:https://github.com/houqb/CoordAttention/blob/main/mbv2_ca.py

class CoordAtt(nn.Module): def __init__(self, inp, oup, groups=32): super(CoordAtt, self).__init__() self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) self.pool_w = nn.AdaptiveAvgPool2d((1, None)) mip = max(8, inp // groups) self.conv1 = nn.Conv2d(inp, mip, kernel_size=1, stride=1, padding=0) self.bn1 = nn.BatchNorm2d(mip) self.conv2 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.conv3 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.relu = h_swish() def forward(self, x): identity = x n,c,h,w = x.size() x_h = self.pool_h(x) x_w = self.pool_w(x).permute(0, 1, 3, 2) y = torch.cat([x_h, x_w], dim=2) y = self.conv1(y) y = self.bn1(y) y = self.relu(y) x_h, x_w = torch.split(y, [h, w], dim=2) x_w = x_w.permute(0, 1, 3, 2) x_h = self.conv2(x_h).sigmoid() x_w = self.conv3(x_w).sigmoid() x_h = x_h.expand(-1, -1, h, w) x_w = x_w.expand(-1, -1, h, w) y = identity * x_w * x_h return y最后

CA不仅考虑到空间和通道之间的关系,还考虑到长程依赖问题。通过实验发现,CA不仅可以实现精度提升,且参数量、计算量较少。

简单进行记录,如有问题请大家指正。

本文链接地址:https://www.jiuchutong.com/zhishi/290832.html 转载请保留说明!

上一篇:el-table(type=“selection“)多选框两种回显

下一篇:鸟瞰皮纳图博火山湖和山脉,菲律宾波拉克 (© Amazing Aerial Agency/Offset by Shutterstock)(bestars皮纳)

  • 奶牛快传怎么转到百度云(奶牛快传怎么扩容)

    奶牛快传怎么转到百度云(奶牛快传怎么扩容)

  • 苹果青少年模式怎么开启(苹果青少年模式关闭)

    苹果青少年模式怎么开启(苹果青少年模式关闭)

  • 单删微信好友再加回来他有消息提示吗(单删微信好友再加回来会不会显示以上是打招呼内容)

    单删微信好友再加回来他有消息提示吗(单删微信好友再加回来会不会显示以上是打招呼内容)

  • 三核是什么(什么是三核产品)

    三核是什么(什么是三核产品)

  • qq主页的达人图标怎么关闭(qq达人标)

    qq主页的达人图标怎么关闭(qq达人标)

  • 中塔和全塔机箱的区别(中塔和全塔机箱哪个好)

    中塔和全塔机箱的区别(中塔和全塔机箱哪个好)

  • 怎么给微信好友设置静音(怎么给微信好友换头像)

    怎么给微信好友设置静音(怎么给微信好友换头像)

  • 高级语言是面向什么的(高级语言是面向问题的语言吗)

    高级语言是面向什么的(高级语言是面向问题的语言吗)

  • 硬盘类型mbr和gpt区别(硬盘分区类型mbr和gpt)

    硬盘类型mbr和gpt区别(硬盘分区类型mbr和gpt)

  • 小米数据线接口叫什么(小米数据线接口定义图)

    小米数据线接口叫什么(小米数据线接口定义图)

  • 快手粉丝亲密度怎么提升(快手粉丝亲密度升级)

    快手粉丝亲密度怎么提升(快手粉丝亲密度升级)

  • 微信解绑手机号之后还可以登录吗(微信解绑手机号后还可以正常使用吗)

    微信解绑手机号之后还可以登录吗(微信解绑手机号后还可以正常使用吗)

  • 淘宝违规分为哪几种(淘宝违规分为哪几种类型)

    淘宝违规分为哪几种(淘宝违规分为哪几种类型)

  • 苹果11pro max是5g手机吗(苹果11pro Max是防水的吗)

    苹果11pro max是5g手机吗(苹果11pro Max是防水的吗)

  • 华为ai音箱使用技巧(华为ai音响2)

    华为ai音箱使用技巧(华为ai音响2)

  • ais防抖是什么意思(aisois防抖)

    ais防抖是什么意思(aisois防抖)

  • 苹果xr耳机插哪里(苹果手机xr耳机插哪)

    苹果xr耳机插哪里(苹果手机xr耳机插哪)

  • 快手5分钟视频怎么发(快手五分钟以上的视频)

    快手5分钟视频怎么发(快手五分钟以上的视频)

  • 小米6有语音唤醒功能吗(小米6支持语音)

    小米6有语音唤醒功能吗(小米6支持语音)

  • 华为b5使用技巧(华为b5功能介绍)

    华为b5使用技巧(华为b5功能介绍)

  • oppor17录屏为什么没有声音在哪里调(oppo r17录屏的时候为什么没有声音)

    oppor17录屏为什么没有声音在哪里调(oppo r17录屏的时候为什么没有声音)

  • 苹果手机怎么打空格符号(苹果手机怎么打开空调功能)

    苹果手机怎么打空格符号(苹果手机怎么打开空调功能)

  • 微信可以单独设置提示音吗(微信可以单独设置消息提示音吗)

    微信可以单独设置提示音吗(微信可以单独设置消息提示音吗)

  • 最高像素的数码相机是什么(最高像素的手机)

    最高像素的数码相机是什么(最高像素的手机)

  • 实验用品包括实验仪器吗
  • 高新技术认定研发费用要求
  • 转让实物资产税务处理
  • 固定资产改变用途进项转出
  • 工业企业提供劳务收入会计分录
  • 行政单位专项资金核算方法
  • 银行承兑汇票到期日后多久可以承兑
  • 未分配利润如何使用投入生产
  • 附加税的计税依据是实缴增值税
  • 企业为什么用银行承兑汇票
  • 展厅门口如何布置图片
  • 关于小规模纳税人的说法错误的有
  • 个人取得利息需要缴纳增值税吗
  • 应收补贴款贷方余额
  • 企业所得税视同销售怎么处理?
  • 多计提的社保费,可否计入营业外收入
  • 以前年度多做了收入怎样调账
  • 销售后换回产品的账务处理怎么做?
  • 无票收入负数怎么报增值税
  • 期间费用核算内容不应该包括
  • 6月 全新windows
  • 小规模纳税人增值税3%减按1%
  • 土地增值税清算收入如何确定
  • 偷渡系统可以正常接收到升级吗
  • html文档怎么写
  • 公司出租房屋租赁发票税率
  • 应收股利的主要特点
  • 股权换股权会计分录
  • 企业合并进行过程中发生的各项直接相关费用
  • 外贸公司出口退税率是多少
  • 残疾人就业保障金计入什么科目
  • CSS: overflow-anchor 固定滚动到底部,随着页面内容增多滚动条自己滚动展示最新的内容
  • 路由配置中network怎么用
  • 华为od测试岗机试需要怎么准备
  • 前端程序员和后端程序员哪个工资高
  • sed多个命令匹配条件格式
  • 增值税留抵税额退税政策
  • 本月增值税申报截止日
  • 外包食堂可以开专票吗
  • 保险费的增值税税率
  • 一般开发票都需要什么开票信息包括了什么?
  • 商业承兑汇票贴现率
  • 应税项目和非应税项目分类
  • mssqlserver服务安装
  • 民办非企业单位是私立还是公立
  • 想买微波炉
  • 公司会计日常工作内容
  • 限售股算不算账户资产
  • 最新减免税申报表填写举例
  • 暂不认证通知单 不在认证范围内
  • 事业单位发放生育津贴从哪年执行的
  • 现金流量表的编制基础是权责发生制
  • 各单位应当根据需要设立专职或者兼职
  • Mysql5.7.14 linux版密码忘记完美解决办法
  • mysql保存命令
  • ubuntu系统怎么安装搜狗输入法
  • vmware如何用
  • windowsxp
  • windows定时关机计划
  • mac os x 10.9.5
  • ip地址xp系统
  • 在Windows Server 2012中,管理员默认的用户名是
  • window10 系统安装
  • win7如何隐藏文件夹最近使用记录
  • linux网络设备有哪些
  • windows进程太多
  • win8怎么清空电脑只剩系统
  • 使用jquery操作dom
  • node.js入门教程
  • 自动清除数据
  • python从入门到精通
  • js强制把网址设为密码
  • node的express
  • JavaScript中的math.pi
  • python文件操作方法
  • bootstrap需要学多久
  • 湖北税务局2021新通知
  • 国税周末有值班的吗
  • 上海增值税发票抵扣
  • 城市建设维护税减免政策
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设