位置: IT常识 - 正文

深度学习中的注意力机制模型及代码实现(SE Attention、CBAM Attention)

编辑:rootadmin
深度学习中的注意力机制模型及代码实现(SE Attention、CBAM Attention)

目录

常用的注意力机制模型

SE Attention

CBAM Attention

CBAM Attention 模型结构​

CBAM Attention 代码实现(Pytorch版):

 注意力机制加到网络的哪里合适


常用的注意力机制模型

推荐整理分享深度学习中的注意力机制模型及代码实现(SE Attention、CBAM Attention),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

深度学习中的注意力机制模型及代码实现(SE Attention、CBAM Attention)

常用的注意力机制多为SE Attention和CBAM Attention。它们基本都可以当成一个简单的网络。例如SE注意力机制,它主要就是由两个全连接层组成,这就是一个简单的MLP模型,只是它的输出变了样。所以,在我们把注意力机制加入主干网络里时,所选注意力机制的复杂程度也是我们要考虑的一个方面,因为增加注意力机制,也变相的增加了我们网络的深度,大小。

SE Attention

详见这篇博文

经典网络模型-SENet注意力机制_L888666Q的博客-CSDN博客_senet网络模型

CBAM Attention

CBAM(Convolutional Block Attention Module) 表示卷积模块的注意力机制模块。是一种结合了空间(spatial)和通道(channel)的注意力机制模块。一般情况下,相比于SEnet只关注通道(channel)的注意力机制可以取得更好的效果。其中CBAM的结构如下面两张图,由Channel Attention和 Spatial Attention这两个模块组成,其中Channel Attention模块和SENet是十分相似的,只是在池化上做了最大和平均池化,把FC层换成了卷积。至于Spatial Attention模块,这个更为简单,本质上就是一个卷积层。论文地址

CBAM Attention 模型结构CBAM Attention 代码实现(Pytorch版):import numpy as npimport torchfrom torch import nnfrom torch.nn import initclass ChannelAttention(nn.Module): def __init__(self,channel,reduction=16): super().__init__() self.maxpool=nn.AdaptiveMaxPool2d(1) self.avgpool=nn.AdaptiveAvgPool2d(1) self.se=nn.Sequential( nn.Conv2d(channel,channel//reduction,1,bias=False), nn.ReLU(), nn.Conv2d(channel//reduction,channel,1,bias=False) ) self.sigmoid=nn.Sigmoid() def forward(self, x) : max_result=self.maxpool(x) avg_result=self.avgpool(x) max_out=self.se(max_result) avg_out=self.se(avg_result) output=self.sigmoid(max_out+avg_out) return outputclass SpatialAttention(nn.Module): def __init__(self,kernel_size=7): super().__init__() self.conv=nn.Conv2d(2,1,kernel_size=kernel_size,padding=kernel_size//2) self.sigmoid=nn.Sigmoid() def forward(self, x) : max_result,_=torch.max(x,dim=1,keepdim=True) avg_result=torch.mean(x,dim=1,keepdim=True) result=torch.cat([max_result,avg_result],1) output=self.conv(result) output=self.sigmoid(output) return outputclass CBAMBlock(nn.Module): def __init__(self, channel=512,reduction=16,kernel_size=49): super().__init__() self.ca=ChannelAttention(channel=channel,reduction=reduction) self.sa=SpatialAttention(kernel_size=kernel_size) def forward(self, x): b, c, _, _ = x.size() residual=x out=x*self.ca(x) out=out*self.sa(out) return out+residual 注意力机制加到网络的哪里合适

注意力机制是一个独立的块,一般来说加在哪里都是可以的,但是,注意机制加入我们的网络中时,他是会影响我们网络的特征提取的,即它注意的特征不一定都是我们重要的特征。所以注意力机制加入我们网络的位置就比较重要了。当我我们使用一个注意力机制不知道加在哪里时可以去看看提出注意力机制作者的源代码。如CBAM注意力机制的源代码,加在了残差网络(以resnet18为例)的残差块后面。如果我们使用的网络不是注意力机制作者使用的网络,建议加在最后一个卷积层后面或者第一个全连接层前面。当然并不是每个注意力机制或者每个网络都适用,因为不同的注意力机制注意的地方可能都不一样,所以加到主干网络的地方可能也不一样。  

本文链接地址:https://www.jiuchutong.com/zhishi/295880.html 转载请保留说明!

上一篇:VsCode安装yarn:yarn : 无法将“yarn”项识别为 cmdlet、函数、脚本文件或可运行程序的名(vscode安装python3)

下一篇:元宇宙、区块链 通俗易懂(元宇宙区块链数字货币)

  • hd3000相当于什么显卡(hd3000相当于什么n卡)

    hd3000相当于什么显卡(hd3000相当于什么n卡)

  • vivo手机怎么添加分屏应用(vivo手机怎么添加公交卡)

    vivo手机怎么添加分屏应用(vivo手机怎么添加公交卡)

  • 华为手机出现volte怎么关闭(华为手机出现voice图标)

    华为手机出现volte怎么关闭(华为手机出现voice图标)

  • 打印机未联机怎么回事(打印机未联机怎么打印)

    打印机未联机怎么回事(打印机未联机怎么打印)

  • 12123验证失败是什么原因(12123上不去用户验证失败)

    12123验证失败是什么原因(12123上不去用户验证失败)

  • 保留与word早期版本的兼容性是什么意思(保留与word早期版本的兼容性要勾选吗)

    保留与word早期版本的兼容性是什么意思(保留与word早期版本的兼容性要勾选吗)

  • 拼多多退货要先确认收货吗(拼多多退货要先垫付运费)

    拼多多退货要先确认收货吗(拼多多退货要先垫付运费)

  • 华为荣耀20lite是青春版吗(荣耀20lite百度百科)

    华为荣耀20lite是青春版吗(荣耀20lite百度百科)

  • qzss定位系统是哪个国家的

    qzss定位系统是哪个国家的

  • 淘宝两颗黄钻什么意思(淘宝两颗黄钻花了多少钱)

    淘宝两颗黄钻什么意思(淘宝两颗黄钻花了多少钱)

  • 锐龙r5 3500u相当于酷睿i几(锐龙r5 3500u相当于英特尔)

    锐龙r5 3500u相当于酷睿i几(锐龙r5 3500u相当于英特尔)

  • 多媒体计算机处理的信息类型包括(07167多媒体计算机技术)

    多媒体计算机处理的信息类型包括(07167多媒体计算机技术)

  • 微信视频怎么录音(微信视频怎么录音对方的声音)

    微信视频怎么录音(微信视频怎么录音对方的声音)

  • xsmax是英特尔基带吗(苹果xsmax是不是都是英特尔基带)

    xsmax是英特尔基带吗(苹果xsmax是不是都是英特尔基带)

  • 千兆端口和百兆端口区别(千兆端口和百兆端口区别图解)

    千兆端口和百兆端口区别(千兆端口和百兆端口区别图解)

  • qq漫游记录申请恢复(qq漫游记录502)

    qq漫游记录申请恢复(qq漫游记录502)

  • 苹果a1700怎么解锁(苹果a1700怎么解锁密码)

    苹果a1700怎么解锁(苹果a1700怎么解锁密码)

  • 为什么word里打不了字(为什么word里打字显示是空白)

    为什么word里打不了字(为什么word里打字显示是空白)

  • 微信接口2次开发是什么意思(微信二次开发能做哪些功能)

    微信接口2次开发是什么意思(微信二次开发能做哪些功能)

  • cad格式刷在哪(2022cad格式刷在哪)

    cad格式刷在哪(2022cad格式刷在哪)

  • vivox27pro有人脸识别吗(vivo手机人脸)

    vivox27pro有人脸识别吗(vivo手机人脸)

  • 怎样删除微信群里的图片和视频(怎样删除微信群公告里的图片)

    怎样删除微信群里的图片和视频(怎样删除微信群公告里的图片)

  • 【JavaWeb】复习重点内容(javaweb重点知识总结)

    【JavaWeb】复习重点内容(javaweb重点知识总结)

  • 高德地图的2种引入方式(高德地图的2种导航方式)

    高德地图的2种引入方式(高德地图的2种导航方式)

  • 筹建期间取得的利息收入 企业所得税
  • 产权式酒店规定
  • 一般纳税人的计税方式是什么
  • 企业所得税弥补亏损明细表怎么看
  • 小微企业应纳税所得额怎么计算
  • 个人所得税减免 租房没有合同编号
  • 房地产企业消防设施计入什么科目
  • 主营业务收入属于资产
  • 投资款返还案例
  • 餐饮业加计递减怎么算
  • 客运承运人是什么意思
  • 红字冲回是负数吗
  • 支付佣金和手续费一样吗
  • 会务费账务处理
  • 招待费进项税额转出会计分录
  • 税金及附加科目有
  • 新车车牌照
  • 餐饮公司收到的拍摄服务票做什么费用
  • 增值税专用发票有效期是多长时间
  • 利税总额为负数如何表述出来
  • 对公提回款是什么意思
  • 董事费监事费高管薪酬标准
  • 资本公积账务重组
  • 返回的工会经费如何做账最新
  • 公益性捐赠增值税申报表怎么填
  • 发票丢了还可以重开吗
  • 资本的不同形态
  • 如何玩转win11
  • 小商业企业应交所得税
  • 著作权出售后,属于自己的吗
  • php处理图片需要什么扩展
  • 开机后网络连接很慢
  • 如何通过路由器查看宽带账号密码
  • linux系统怎么打开
  • 携税宝的作用
  • 会计核算是什么岗位
  • 发票上下联开具的金额不符怎么处罚
  • 增值税发票洗烂怎么办
  • 个人咨询服务费怎么交税
  • 广东省工科赛智能配送
  • ie11已经为了帮助保护您的计算机而关闭此网页
  • 酒店会计做账流程及内容
  • 支票小写金额前的羊
  • 帮别人代发工资有没有风险
  • 所得税包含哪些项目
  • day15-Servlet04
  • sql将一个表中的值赋给另一个表
  • 职工教育经费可以冲回吗
  • 基本社会保险制度范围
  • 无形资产摊销账面价值
  • 购销合同上没有金额,怎么写比较好
  • 对方开商业承兑汇票给我们
  • 可供分配利润的计算公式
  • 水费能抵扣进项税吗
  • 实收资本能直接转账吗
  • 业务招待费是销售
  • 帐薄和账簿区别
  • ubuntu系统中文
  • freebsd怎么安装
  • VMware虚拟机安装苹果Mac OS
  • ubuntu邮箱客户端
  • 苹果mac怎么下载
  • centos搭建v2
  • xpcpu占用100
  • win7系统如何修改ip地址
  • win10新版磁贴
  • 安卓属性
  • 在指定目录查找的文件
  • lint 工具
  • node.js 配置
  • js的类型有哪几种
  • javascript面向对象 第三方类库
  • js实现跨域访问的几种方式
  • jquery图片轮播插件slick不动
  • 国税局国家公务员工资待遇
  • 如何在电子税务局看本月应申报的税
  • 税控盘时钟异常怎么办
  • 如何查询车辆购买的保险是哪家保险公司
  • 昆明市地方税务局稽查局局长
  • 混凝土搅拌站如何结转成本
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设