位置: IT常识 - 正文

注意力机制-CA注意力-Coordinate attention(注意力机制详解)

编辑:rootadmin
注意力机制-CA注意力-Coordinate attention 注意力机制学习--CA(Coordinate attention)简介CA注意力机制的优势:提出不足算法流程图代码最后简介

推荐整理分享注意力机制-CA注意力-Coordinate attention(注意力机制详解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:注意力机制 cv,注意力机制 lstm,注意力机制 cv,注意力机制 cv,注意力机制 q k v,注意力机制 lstm,注意力机制cbam,注意力机制工作原理,内容如对您有帮助,希望把文章链接给更多的朋友!

CA(Coordinate attention for efficient mobile network design)发表在CVPR2021,帮助轻量级网络涨点、即插即用。

CA注意力机制的优势:注意力机制-CA注意力-Coordinate attention(注意力机制详解)

1、不仅考虑了通道信息,还考虑了方向相关的位置信息。 2、足够的灵活和轻量,能够简单的插入到轻量级网络的核心模块中。

提出不足

1、SE注意力中只关注构建通道之间的相互依赖关系,忽略了空间特征。 2、CBAM中引入了大尺度的卷积核提取空间特征,但忽略了长程依赖问题。

算法流程图

step1: 为了避免空间信息全部压缩到通道中,这里没有使用全局平均池化。为了能够捕获具有精准位置信息的远程空间交互,对全局平均池化进行的分解,具体如下: 对尺寸为C∗H∗WC*H*WC∗H∗W输入特征图InputInputInput分别按照XXX方向和YYY方向进行池化,分别生成尺寸为C∗H∗1C*H*1C∗H∗1和C∗1∗WC*1*WC∗1∗W的特征图。如下图所示(图片粘贴自B站大佬渣渣的熊猫潘)。 step2:将生成的C∗1∗WC*1*WC∗1∗W的特征图进行变换,然后进行concat操作。公式如下: 将zhz^hzh和zwz^wzw进行concat后生成如下图所示的特征图,然后进行F1操作(利用1*1卷积核进行降维,如SE注意力中操作)和激活操作,生成特征图f∈RC/r×(H+W)×1f \in \mathbb{R}^{C/r\times(H+W)\times1}f∈RC/r×(H+W)×1。 step3:沿着空间维度,再将fff进行split操作,分成fh∈RC/r×H×1f^h\in \mathbb{R}^{C/r\times H \times1}fh∈RC/r×H×1和fw∈RC/r×1×Wf^w\in \mathbb{R}^{C/r\times1\times W}fw∈RC/r×1×W,然后分别利用1×11 \times 11×1卷积进行升维度操作,再结合sigmoid激活函数得到最后的注意力向量gh∈RC×H×1g^h \in \mathbb{R}^{C \times H \times 1 }gh∈RC×H×1和gw∈RC×1×Wg^w\in \mathbb{R}^{C \times1\times W}gw∈RC×1×W。 最后:Coordinate Attention 的输出公式可以写成:

代码

代码粘贴自github。CoordAttention 地址:https://github.com/houqb/CoordAttention/blob/main/mbv2_ca.py

class CoordAtt(nn.Module): def __init__(self, inp, oup, groups=32): super(CoordAtt, self).__init__() self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) self.pool_w = nn.AdaptiveAvgPool2d((1, None)) mip = max(8, inp // groups) self.conv1 = nn.Conv2d(inp, mip, kernel_size=1, stride=1, padding=0) self.bn1 = nn.BatchNorm2d(mip) self.conv2 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.conv3 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0) self.relu = h_swish() def forward(self, x): identity = x n,c,h,w = x.size() x_h = self.pool_h(x) x_w = self.pool_w(x).permute(0, 1, 3, 2) y = torch.cat([x_h, x_w], dim=2) y = self.conv1(y) y = self.bn1(y) y = self.relu(y) x_h, x_w = torch.split(y, [h, w], dim=2) x_w = x_w.permute(0, 1, 3, 2) x_h = self.conv2(x_h).sigmoid() x_w = self.conv3(x_w).sigmoid() x_h = x_h.expand(-1, -1, h, w) x_w = x_w.expand(-1, -1, h, w) y = identity * x_w * x_h return y最后

CA不仅考虑到空间和通道之间的关系,还考虑到长程依赖问题。通过实验发现,CA不仅可以实现精度提升,且参数量、计算量较少。

简单进行记录,如有问题请大家指正。

本文链接地址:https://www.jiuchutong.com/zhishi/290832.html 转载请保留说明!

上一篇:el-table(type=“selection“)多选框两种回显

下一篇:鸟瞰皮纳图博火山湖和山脉,菲律宾波拉克 (© Amazing Aerial Agency/Offset by Shutterstock)(bestars皮纳)

  • 爱奇艺可以几个人共用一个账号(爱奇艺可以几个设备登录)

    爱奇艺可以几个人共用一个账号(爱奇艺可以几个设备登录)

  • 华为mate30pro隐私保护怎么设置

    华为mate30pro隐私保护怎么设置

  • vivo手机怎么刷屏(vivo手机怎么刷机)

    vivo手机怎么刷屏(vivo手机怎么刷机)

  • 怎样查看华为手机型号(怎样查看华为手机电池健康度)

    怎样查看华为手机型号(怎样查看华为手机电池健康度)

  • 苹果6s和6的手机壳是通用吗(苹果6s和6的手机壳一样吗?)

    苹果6s和6的手机壳是通用吗(苹果6s和6的手机壳一样吗?)

  • 华为手机锁屏页面时间怎么设置(华为手机锁屏页面上的时间怎么设置)

    华为手机锁屏页面时间怎么设置(华为手机锁屏页面上的时间怎么设置)

  • 似乎已断开与互联网的连接是什么意思(似乎已断开与互联网的链接苹果怎么弄)

    似乎已断开与互联网的连接是什么意思(似乎已断开与互联网的链接苹果怎么弄)

  • 骁龙730G是什么级别(骁龙730g是什么级别的处理器)

    骁龙730G是什么级别(骁龙730g是什么级别的处理器)

  • 滴滴顺路单优先派单吗(滴滴顺路单什么意思)

    滴滴顺路单优先派单吗(滴滴顺路单什么意思)

  • vivo怎么设置红包来了的声音(vivo怎么设置红包自动抢)

    vivo怎么设置红包来了的声音(vivo怎么设置红包自动抢)

  • QQ小窗口在哪里打开(qq小窗口在哪里打开聊天)

    QQ小窗口在哪里打开(qq小窗口在哪里打开聊天)

  • iphone6怎么拍摄虚化背景(苹果6怎样拍照)

    iphone6怎么拍摄虚化背景(苹果6怎样拍照)

  • 拨号失败无法连接到通话网络是什么意思(拨号失败无法连接到移动网络)

    拨号失败无法连接到通话网络是什么意思(拨号失败无法连接到移动网络)

  • 手机拼多多怎么看订单(手机拼多多怎么一键全部下架)

    手机拼多多怎么看订单(手机拼多多怎么一键全部下架)

  • ios怎么把两张照片合成一张(ios怎么把两张照片p成一张)

    ios怎么把两张照片合成一张(ios怎么把两张照片p成一张)

  • 拼多多退货次数多了会怎样(拼多多退货次数多了就没有运费险了吗)

    拼多多退货次数多了会怎样(拼多多退货次数多了就没有运费险了吗)

  • 目前哪些手机支持5g(目前哪些手机支持电脑模式)

    目前哪些手机支持5g(目前哪些手机支持电脑模式)

  • 苹果充电次数可以改吗(苹果充电次数可以清零吗)

    苹果充电次数可以改吗(苹果充电次数可以清零吗)

  • 苹果相机专业模式怎么打开(苹果相机专业模式怎么拍月亮)

    苹果相机专业模式怎么打开(苹果相机专业模式怎么拍月亮)

  • 手机qq斗地主在哪里找(qq斗地主在哪找)

    手机qq斗地主在哪里找(qq斗地主在哪找)

  • 华为方舟编译器支持机型(华为方舟编译器下载官网)

    华为方舟编译器支持机型(华为方舟编译器下载官网)

  • wps文件怎么发送到微信(华为平板的wps文件怎么发送)

    wps文件怎么发送到微信(华为平板的wps文件怎么发送)

  • Linux中基本的模式切换与用户登陆操作讲解(linux模块的概念)

    Linux中基本的模式切换与用户登陆操作讲解(linux模块的概念)

  • 南邦国家公园的尖峰石阵,西澳大利亚州 (© Frank Krahmer/Getty Images Plus)(鬓角头发剃光了多久能长好)

    南邦国家公园的尖峰石阵,西澳大利亚州 (© Frank Krahmer/Getty Images Plus)(鬓角头发剃光了多久能长好)

  • 前端传递对象参数,以及后端接受参数 @PathVariable @RequestParam @RequestBody 注解的使用(前端向后端传递对象数组)

    前端传递对象参数,以及后端接受参数 @PathVariable @RequestParam @RequestBody 注解的使用(前端向后端传递对象数组)

  • SpringBoot集成ChatGPT实现AI聊天(springboot集成clickhouse)

    SpringBoot集成ChatGPT实现AI聊天(springboot集成clickhouse)

  • 车购税怎么计算
  • 储值卡金额算什么科目
  • 银行电子承兑到期多久时间之内可以兑现
  • 运输公司的车辆保险费计入什么科目
  • 存货成本核算方法有哪些
  • 没有上市的公司怎么看财务报表
  • 油票发票怎么查真伪
  • 个人所得税纳税义务人
  • 其他应收款的对方科目有哪些
  • 开发票产品名称
  • 税务外管证取消了吗
  • 土地股权转让交多少税
  • 物流运输途中损坏怎么办
  • 企业取得租车发票
  • 小规模开票数量怎么算
  • 企业购买饮水机滤芯会计分录
  • 季度企业所得税计算方法举例
  • 公司用无形资产抵税
  • 增值税怎么查看
  • 福利费申报个人所得税该如何进行?
  • 二季度支出小于一季度什么意思
  • 加班工资算做个月工资吗
  • 小规模增值税未开票收入填哪里
  • 工程未结算能主张工程款吗
  • 建账实收资本怎么处理
  • 企业新建厂房
  • 销售旧房增值税销售额怎么算
  • 增值税进项税额抵扣期限最新
  • 总公司拨给分公司的钱怎么平账
  • 税收包含哪些税种
  • 监狱劳教企业是国企吗
  • 总分类账户原材料
  • HBuilderX uni-app简单实现静态登录页面(实例)
  • php框架推荐
  • php include和include_once
  • vue3使用ref获取元素
  • source命令怎么用
  • 织梦最新发表的作品
  • 广告系统源码
  • phpcms怎么用
  • 原材料存货跌价准备会计分录
  • 企业的日常活动都有哪些
  • 公司年度汇算
  • 商业承兑汇票在网银上怎么查询
  • 金税盘清卡失败增值税未申报或未比对
  • 购入固定资产款项未付
  • 航天税盘服务费开的普票可以抵税吗
  • 企业不需要交残保金吗
  • 工程施工的间接费用年底可以不结转吗
  • 中小企业所得税优惠
  • 收回投资收到的现金占比大说明
  • 律师事务所账务处理例题
  • 预收账款如何做账务处理
  • 以股权投资入股新公司税务处理
  • 企业为职工租房合法吗
  • 预支报销怎么做账
  • 长期借款的账务处理会计分录
  • 改良设备的入账价值
  • 投资款计入哪个科目
  • 物业公司代业主委员会收公共收益怎么开发票
  • 汽车折旧计算方法2023折旧率
  • mysql很卡
  • sql复制表的语句
  • solaris root密码过期
  • ubuntu14.04升级
  • win8关机立马自动重启
  • win10正版免费升级
  • linux系统的配置
  • cocos2dx 4.0
  • opengl和directX区别
  • firefox怎样调整为中文
  • diskpart ntfs
  • python利用format方法保留三位小数
  • javascript HTML+CSS实现经典橙色导航菜单
  • unity loom插件
  • js设置图片大小
  • 大连税务登记app
  • 甘肃税务局电子税务局客服电话
  • 税控盘百旺怎样清卡
  • 1国家税务总局
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设