位置: IT常识 - 正文

深度学习中的注意力机制模型及代码实现(SE Attention、CBAM Attention)

编辑:rootadmin
深度学习中的注意力机制模型及代码实现(SE Attention、CBAM Attention)

目录

常用的注意力机制模型

SE Attention

CBAM Attention

CBAM Attention 模型结构​

CBAM Attention 代码实现(Pytorch版):

 注意力机制加到网络的哪里合适


常用的注意力机制模型

推荐整理分享深度学习中的注意力机制模型及代码实现(SE Attention、CBAM Attention),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

深度学习中的注意力机制模型及代码实现(SE Attention、CBAM Attention)

常用的注意力机制多为SE Attention和CBAM Attention。它们基本都可以当成一个简单的网络。例如SE注意力机制,它主要就是由两个全连接层组成,这就是一个简单的MLP模型,只是它的输出变了样。所以,在我们把注意力机制加入主干网络里时,所选注意力机制的复杂程度也是我们要考虑的一个方面,因为增加注意力机制,也变相的增加了我们网络的深度,大小。

SE Attention

详见这篇博文

经典网络模型-SENet注意力机制_L888666Q的博客-CSDN博客_senet网络模型

CBAM Attention

CBAM(Convolutional Block Attention Module) 表示卷积模块的注意力机制模块。是一种结合了空间(spatial)和通道(channel)的注意力机制模块。一般情况下,相比于SEnet只关注通道(channel)的注意力机制可以取得更好的效果。其中CBAM的结构如下面两张图,由Channel Attention和 Spatial Attention这两个模块组成,其中Channel Attention模块和SENet是十分相似的,只是在池化上做了最大和平均池化,把FC层换成了卷积。至于Spatial Attention模块,这个更为简单,本质上就是一个卷积层。论文地址

CBAM Attention 模型结构CBAM Attention 代码实现(Pytorch版):import numpy as npimport torchfrom torch import nnfrom torch.nn import initclass ChannelAttention(nn.Module): def __init__(self,channel,reduction=16): super().__init__() self.maxpool=nn.AdaptiveMaxPool2d(1) self.avgpool=nn.AdaptiveAvgPool2d(1) self.se=nn.Sequential( nn.Conv2d(channel,channel//reduction,1,bias=False), nn.ReLU(), nn.Conv2d(channel//reduction,channel,1,bias=False) ) self.sigmoid=nn.Sigmoid() def forward(self, x) : max_result=self.maxpool(x) avg_result=self.avgpool(x) max_out=self.se(max_result) avg_out=self.se(avg_result) output=self.sigmoid(max_out+avg_out) return outputclass SpatialAttention(nn.Module): def __init__(self,kernel_size=7): super().__init__() self.conv=nn.Conv2d(2,1,kernel_size=kernel_size,padding=kernel_size//2) self.sigmoid=nn.Sigmoid() def forward(self, x) : max_result,_=torch.max(x,dim=1,keepdim=True) avg_result=torch.mean(x,dim=1,keepdim=True) result=torch.cat([max_result,avg_result],1) output=self.conv(result) output=self.sigmoid(output) return outputclass CBAMBlock(nn.Module): def __init__(self, channel=512,reduction=16,kernel_size=49): super().__init__() self.ca=ChannelAttention(channel=channel,reduction=reduction) self.sa=SpatialAttention(kernel_size=kernel_size) def forward(self, x): b, c, _, _ = x.size() residual=x out=x*self.ca(x) out=out*self.sa(out) return out+residual 注意力机制加到网络的哪里合适

注意力机制是一个独立的块,一般来说加在哪里都是可以的,但是,注意机制加入我们的网络中时,他是会影响我们网络的特征提取的,即它注意的特征不一定都是我们重要的特征。所以注意力机制加入我们网络的位置就比较重要了。当我我们使用一个注意力机制不知道加在哪里时可以去看看提出注意力机制作者的源代码。如CBAM注意力机制的源代码,加在了残差网络(以resnet18为例)的残差块后面。如果我们使用的网络不是注意力机制作者使用的网络,建议加在最后一个卷积层后面或者第一个全连接层前面。当然并不是每个注意力机制或者每个网络都适用,因为不同的注意力机制注意的地方可能都不一样,所以加到主干网络的地方可能也不一样。  

本文链接地址:https://www.jiuchutong.com/zhishi/295880.html 转载请保留说明!

上一篇:VsCode安装yarn:yarn : 无法将“yarn”项识别为 cmdlet、函数、脚本文件或可运行程序的名(vscode安装python3)

下一篇:元宇宙、区块链 通俗易懂(元宇宙区块链数字货币)

  • 怎样创建搜索引擎友好的网页title?(创建搜索的方式)

    怎样创建搜索引擎友好的网页title?(创建搜索的方式)

  • 成功路上并不拥挤 坚持就是胜利(成功路上并不拥挤图片)

    成功路上并不拥挤 坚持就是胜利(成功路上并不拥挤图片)

  • 农业银行app怎么更新身份证信息(农业银行app怎么删除明细记录)

    农业银行app怎么更新身份证信息(农业银行app怎么删除明细记录)

  • 小米智能锁怎么改开门密码(小米智能锁怎么反锁外面打不开)

    小米智能锁怎么改开门密码(小米智能锁怎么反锁外面打不开)

  • 网易云ipad怎么开启一起听歌(网易云ipad怎么显示播放界面)

    网易云ipad怎么开启一起听歌(网易云ipad怎么显示播放界面)

  • 拼多多7天退货运费是谁出(拼多多7天退货时间怎么算)

    拼多多7天退货运费是谁出(拼多多7天退货时间怎么算)

  • 美团兑换的店铺红包能换回来吗(美团兑换的店铺红包怎么用)

    美团兑换的店铺红包能换回来吗(美团兑换的店铺红包怎么用)

  • 华为手机桌面向右偏一边(华为手机桌面向右偏移)

    华为手机桌面向右偏一边(华为手机桌面向右偏移)

  • 热键冲突是什么意思(热键冲突怎么解决 win10)

    热键冲突是什么意思(热键冲突怎么解决 win10)

  • 优酷怎么一起看电影(优酷怎么一起看电视剧两个人)

    优酷怎么一起看电影(优酷怎么一起看电视剧两个人)

  • 十代酷睿i5什么水平(酷睿十代i5性能怎么样)

    十代酷睿i5什么水平(酷睿十代i5性能怎么样)

  • 拍的照片为什么会颠倒(拍的照片为什么变成横屏的了)

    拍的照片为什么会颠倒(拍的照片为什么变成横屏的了)

  • 华为畅享10plus是快速充电吗(华为畅享10plus是5g手机吗)

    华为畅享10plus是快速充电吗(华为畅享10plus是5g手机吗)

  • 钉钉把对方加入黑名单,对方知道吗(钉钉把对方加入黑名单怎么复原)

    钉钉把对方加入黑名单,对方知道吗(钉钉把对方加入黑名单怎么复原)

  • 抖音极速版提现多久到账(抖音极速版提现怎么提到微信)

    抖音极速版提现多久到账(抖音极速版提现怎么提到微信)

  • 滴滴新手保护期有啥用(滴滴新手保护期是多少天)

    滴滴新手保护期有啥用(滴滴新手保护期是多少天)

  • oppoa11和a11x外壳一样吗(oppoa11跟oppoa11x手机壳一样吗)

    oppoa11和a11x外壳一样吗(oppoa11跟oppoa11x手机壳一样吗)

  • 主题单元格样式在哪(主题单元格样式强调文字颜色3)

    主题单元格样式在哪(主题单元格样式强调文字颜色3)

  • 快手普通管理有什么用(快手管理有什么用)

    快手普通管理有什么用(快手管理有什么用)

  • tp保护膜外面可以贴钢化膜吗(原装tp保护膜)

    tp保护膜外面可以贴钢化膜吗(原装tp保护膜)

  • 三星韩版5g手机在中国能用吗(三星韩版5g手机有哪些)

    三星韩版5g手机在中国能用吗(三星韩版5g手机有哪些)

  • 华为手机截图怎么截屏(华为手机截图怎么截)

    华为手机截图怎么截屏(华为手机截图怎么截)

  • 如何查看本机号码vivo(如何查看本机号码oppo)

    如何查看本机号码vivo(如何查看本机号码oppo)

  • 苹果的优化电池充电是什么意思(苹果的优化电池充电会降低充电速度吗)

    苹果的优化电池充电是什么意思(苹果的优化电池充电会降低充电速度吗)

  • oppo手机上方的HD图标怎么关闭(oppo手机上方的小孔是干什么用的)

    oppo手机上方的HD图标怎么关闭(oppo手机上方的小孔是干什么用的)

  • 怎么注册滴滴快车司机(怎么注册滴滴快车司机客户端)

    怎么注册滴滴快车司机(怎么注册滴滴快车司机客户端)

  • VUE 富文本编辑器 tinymce - - - - 对懒人 非常友好 一看就懂(vue 富文本编辑框)

    VUE 富文本编辑器 tinymce - - - - 对懒人 非常友好 一看就懂(vue 富文本编辑框)

  • 委托加工物资的消费税计入成本吗
  • 个人所得税核定征收税率是多少
  • 购进材料运输费属于什么会计科目
  • 损益类科目是否可以转出
  • 社保费公司部分怎么算
  • 跟个人租车可以到税务局开发票吗
  • 二手房怎么避免一房多卖
  • 当期进项税额大于销项税额
  • 预提返利的会计处理
  • 公户转到法人账户怎么做账
  • 净现值为什么要除以它的折现率
  • 体检发票开公司还是个人
  • 建筑企业管理部门
  • 非汉语是什么意思
  • 蓝字发票是什么
  • 空调折旧年限的最新规定2018
  • 金银首饰的消费税税务处理
  • 代扣个税税率是多少
  • 股权转让怎么交个人所得税
  • 公会经费开支范围
  • 行业协会会费收缴标准
  • 去年收入少做了怎么调账
  • win7如何取消关机
  • php导出数据到excel
  • 机票电子普票不可以报销么
  • 跟踪路由如何实现
  • 挂证不付工资只代缴社保账务处理
  • 所得税季报填报说明
  • mouse.exe在哪个文件夹
  • windows未能正常启动
  • root面具怎么用
  • 进项税额是
  • 阿查法拉亚盆地 钓鱼
  • laravel app接口
  • 税务没给核印花税,企业用交吗
  • 赡养老人专项扣除标准
  • 谷歌浏览器调试窗口怎么放下面
  • Vue3 script setup 语法糖详解
  • 差旅费包干是什么意思
  • 帝国cms会侵权吗为什么
  • 公司对其他公司的投资怎么做账
  • 可供出售的价格基本上可以估计
  • 加计抵减不符合怎么办
  • 购入车辆发生的费用
  • 临时售楼处需要什么手续
  • 跨月的普通发票能作废吗
  • 购销供应商
  • 固定资产转售账务处理
  • 医疗投资机构的定义
  • 待处理财产损益会计分录
  • 开具其他发票收入填报异常
  • 什么叫系统服务
  • 项目成本的估算与预算有什么区别和联系?考试资料网
  • 计提的意义
  • 递延收益为什么属于负债
  • sql merge函数
  • SQL语句查询数据量
  • mysql数据库开发技术
  • MySql 5.6.36 64位绿色版安装图文教程
  • mybatis怎么搭建
  • windows xp玩游戏
  • windows与linux的关系
  • 怎么清空mac用户数据
  • win10原装版
  • linux系统fedora
  • linux系列
  • linux用什么版本
  • win10系统打开文件夹就不停的闪
  • webpack基本使用
  • Extjs TriggerField在弹出窗口显示不出问题的解决方法
  • jQuery实现checkbox的简单操作
  • 在github开源的项目有假的吗
  • 查看网关的mac地址是多少
  • 用户允许控制
  • easyui-dialog
  • jquery获取单选按钮的值
  • js代码测试工具
  • js弹出框怎么写
  • 烟叶收购价款
  • 上海市办居住证流程
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设