位置: IT常识 - 正文

自注意力(Self-Attention)与Multi-Head Attention机制详解(自注意力机制是什么)

编辑:rootadmin
自注意力(Self-Attention)与Multi-Head Attention机制详解

推荐整理分享自注意力(Self-Attention)与Multi-Head Attention机制详解(自注意力机制是什么),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:自注意力机制的作用,自注意力机制和多头注意力机制的区别,自注意力机制和多头注意力机制的区别,自注意力机制权重怎么求的,自注意力机制和卷积神经网络,自注意力机制原理,自注意力机制原理,自注意力机制是什么,内容如对您有帮助,希望把文章链接给更多的朋友!

  自注意力机制属于注意力机制之一。与传统的注意力机制作用相同,自注意力机制可以更多地关注到输入中的关键信息。self-attention可以看成是multi-head attention的输入数据相同时的一种特殊情况。所以理解self attention的本质实际上是了解multi-head attention结构。

一:基本原理  

  对于一个multi-head attention,它可以接受三个序列query、key、value,其中key与value两个序列长度一定相同,query序列长度可以与key、value长度不同。multi-head attention的输出序列长度与输入的query序列长度一致。兔兔这里记query的长度为Lq,key与value的长度记为Lk。

  其次,对于输入序列query、key、value,它们特征长度(每个元素维度dim)是可以不同的,记这三个序列的dim分别为Dq、Dk、Dv。在这些序列输入multi-head attention后,内部的序列的dim是可以与Dq、Dk与Dv不同的,我们称之为嵌入(embedding)维度,记为De,输出的序列dim也是De。

  multi-head attention是由一个或多个平行的单元结构组合而成,我们称每个这样的单元结构为一个head(one head,实际上也可以称为一个layer),为了方便,兔兔暂且命名这个单元结构为one-head attention,广义上head数为1 时也是multi-head attention。one-head attention结构是scaled dot-product attention与三个权值矩阵(或三个平行的全连接层)的组合,结构如下图所示

二:Scale Dot-Product Attention具体结构

  对于上图,我们把每个输入序列q,k,v看成形状是(Lq,Dq),(Lk,Dk),(Lk,Dv)的矩阵,即每个元素向量按行拼接得到的矩阵。Linear层的参数分别为(Dq,De),(Dk,De),(Dv,De),则通过全连接层,输出矩阵形状为(Lq,De),(Lk,De),(Lv,De),我们令通过全连接层得到的矩阵为Q、K、V。

  Linear层的本质是权值矩阵W与输入矩阵相乘(有时也可以加上偏置bias),在one-head attention中,我们令与Q、K、V相乘的权值矩阵分别为,它们的形状为(Dq,De),(Dk,De),(Dv,De)。bias的使用与否对后面的结构并无影响,在一些深度学习框架中默认加bias,但是《Attention Is All You Need》原文公式中并未体现bias,只有W,所以兔兔在后面讲解部分,不考虑bias。

  在输入数据通过Linear操作得到Q、K、V矩阵后,我们才真正来到Scale dot-product attention部分。

  Scale dot-product attention可以由一个简洁的公式来表示,其中dk即为我们前面的Dk:

  这个公式得到的输出即为onehead-attention的输出,它是一个形状为(Lq,De)的矩阵,表示长度为Lq,维度为De的输出序列。公式中:

有一个名字:attention weights,形状为(Lq,Lk),它可以大概理解为q序列与k序列各个对应元素之间相关性,类似于你在网页上输入关键词query,网页中之前存在的索引key,根据query与key的相关与否来决定选哪些索引key,并根据key来推荐相应的value。

  讲到这里,实际上已经介绍完multihead-attention的单元结构了。但是这个过程还可以更加深入地理解,下图是Lq与Lk相同时Scale dot-product attention的详细结构(一般Lq和Lk相等很可能Q,K,v来自同一序列,此时即为self attention,兔兔后面会讲到)。

  上图展示的是一个接收Q,K,V形状都是(3,De)的一个scale dot-product attention结构,我们把Q、K、V都拆解成长度为3,维度为De的序列。每次q与各个k计算内积得到一个数a,这些数通过softmax得到新的数a'(这里softmax是整体)。得到的a'与各自的v向量相乘得到新的向量,最终这些新的向量相加得到一个长度为De的向量,之后依次计算得到向量b1、b2,把这些向量b拼成矩阵即为最终的输出。对于这个过程,如果把序列q、k、v用前面的矩阵Q、K、V整体表示,实际上就是前面兔兔给出的那个公式,只不过该该公式以矩阵的形式并行运算,使整个计算过程简洁并且速度更快。

   当然,Lq在很多情况不一定等于Lk,此时若再用上图表示该过程会很乱。所以兔兔用下图来表示scale dot-product attention过程。

三:Scale Dot-Product Attention中的掩码mask问题自注意力(Self-Attention)与Multi-Head Attention机制详解(自注意力机制是什么)

  mask在scale dot-product attention中是可有可无的,在有些情况下使用mask效果会更好,有时则不需要mask。mask作用于scale dot-product attention中的attention weight。前面讲到atttention weights形状是(Lq,Lk),而使用mask时一般是self-attention的情况,此时Lq=Lk,attention weights 为方阵。mask的目的是使方阵上三角为负无穷(或是一个很小的负数),只保留下三角,这样通过softmax后矩阵上三角趋近于0。这样处理的目的是考虑到实际应用中的情况,例如翻译任务中,我们希望在读取句子序列时每次只利用前面读过的词,与后面还没有读到的词句无关。

   实际上,mask的种类可以不止是掩去上三角,根据实际情况也可以使矩阵右侧某些列或任意某些位置为-inf,来掩掉这些位置的信息。

  对于multi-head attention,如果使用mask,则每个head一般都使用相同的mask,此时该模型也称为masked multihead-attention

import numpy as npimport torchweight=torch.randint(0,5,size=(5,5))mask=torch.tensor(np.array([[False,True,True,True,True], [False,False,True,True,True], [False,False,False,True,True], [False,False,False,False,True], [False,False,False,False,False]]))masked_weight=weight.masked_fill(mask,-1000)out=nn.Sigmoid()(masked_weight)print(masked_weight)print(out)'''-------------------------------'''>>>tensor([[ 0, -1000, -1000, -1000, -1000], [ 3, 4, -1000, -1000, -1000], [ 3, 2, 0, -1000, -1000], [ 4, 3, 1, 2, -1000], [ 2, 3, 0, 2, 3]])>>>tensor([[0.5000, 0.0000, 0.0000, 0.0000, 0.0000], [0.9526, 0.9820, 0.0000, 0.0000, 0.0000], [0.9526, 0.8808, 0.5000, 0.0000, 0.0000], [0.9820, 0.9526, 0.7311, 0.8808, 0.0000], [0.8808, 0.9526, 0.5000, 0.8808, 0.9526]])四:Multi-Head Attention结构

  multi-head attention由多个one-head attention组成。我们记一个multi-head attention有n个head,第i个head的权值分别为,则:

这个过程为:输入q,k,v矩阵分别输入各one-head attention,各个head输出矩阵按特征(dim)维度拼接得到新的矩阵,再与矩阵相乘即得到输出(实际上也可以是一个全连接层Linear),并且输出形状仍是(Lq,De)。

  关于其中的参数W,实际上可能会有两种情况,

(1)的形状为:(Lq,De),(Lk,De),(Lk,De),则每个head形状为(Lq,De),拼接后得到的矩阵形状(Lq,n×De),形状为:(n×De,De)。

(2)的形状为:(Lq,De/n),(Lk,De/n),(Lk,De/n)(此时要保证嵌入维度De能整除head数n),则每个head的形状为(Lq,De/n),拼接后得到的矩阵形状(Lq,De),形状为:(De,De)。

虽然这两种方式内部参数不同,但输入与输出数据形状不变。Pytorch中的MuitiheadAttention使用的是方法(2)。

四:对self-attention的理解

  self-attention是multi-head attention三个输入序列都来源于同一序列的情况。设输入序列为input,此时输入的q,k,v三个序列全是input,所以此时Lq=Lk,Dq=Dk=Dv。由于所有输入都是同一个序列,所以也很好理解为什么叫做自注意力。

五:query、key、value的理解与来源

  query、key、value分别为查询、键、值。它们可以由同一个序列得到,也可以是具有实际意义的不同序列。从检索的角度来看,query是需要检索的内容,key是索引,value为待检索的值,attention的过程是计算query与key的相关性,获得attention map,在利用 attention map获取value中的特征值。在self-attention中,query,key,value为同一序列,一般情况下,query为一个序列,key与value为同一序列,更一般情况,query,key,value为三个不同的序列。

六:应用实例1.使用Pytorch构建multi-head attentionclass attention(nn.Module): def __init__(self,embed_dim,num_heads): ''' :param embed_dim: 嵌入特征个数 :param num_heads: scale dot-product attention层数 ''' super(attention, self).__init__() self.embed_dim=embed_dim self.num_heads=num_heads self.w_q=[nn.Linear(embed_dim,embed_dim) for i in range(num_heads)] self.w_k=[nn.Linear(embed_dim,embed_dim) for i in range(num_heads)] self.w_v=[nn.Linear(embed_dim,embed_dim) for i in range(num_heads)] self.w_o=nn.Linear(embed_dim*num_heads,embed_dim) self.softmax=nn.Softmax() def single_head(self,q,k,v,head_idx): '''scale dot-scale attention ''' q=self.w_q[head_idx](q) k=self.w_k[head_idx](k) v=self.w_v[head_idx](v) out=torch.matmul(torch.matmul(q,k.permute(0,2,1)),v)/self.embed_dim return out def forward(self,q,k,v): output=[] for i in range(self.num_heads): out=self.single_head(q,k,v,i) output.append(out) output=torch.cat(output,dim=2) output=self.w_o(output) print(output.shape) return outputif __name__=='__main__': x=torch.randn(size=(3,2,8),dtype=torch.float32) q,k,v=x,x,x att=attention(embed_dim=8,num_heads=4) output,attention_weight=att(q,k,v)2.使用Pytoch中nn.MultiheadAttention方法

在Pytorch中,MultiheadAttention方法中必需参数有2个:

  embed_dim:嵌入维度,即De。

  num_heads:head数

  虽然前面讲到Dq、Dk、Dv、De是可以不等的,但是pytorch中输入的Dq要等于De,并且默认Dv、De也等于De,如果k,v的特征dim不等于De,需要修改kdim,vdim参数。对于接收的数据,pytorch默认形式是(seq,batch,feature),即第一个维度是序列长度,第二个是batch size,第三个是特征dim。如果我们习惯于(batch,seq,feature)形式,可以修改参数batch_first=True。

import torchfrom torch import nnq=torch.randint(0,10,size=(10,9,8),dtype=torch.float32) #batch_size,seq_length,dimk=torch.randint(0,10,size=(10,7,4),dtype=torch.float32)v=torch.randint(0,10,size=(10,7,3),dtype=torch.float32)attention=nn.MultiheadAttention(embed_dim=8,num_heads=4,kdim=4,vdim=3,batch_first=True)attn_output, attn_output_weights=attention(q,k,v)print(attn_output.shape)print(attn_output_weights.shape)

当然,除了这些参数,pytorch的MultiheadAttention中还有更多的参数,例如各种bias,表示是否加入偏置。

七:总结

  自注意力机是multi-head attention模型在所有输入都是同一序列一种情况。multi-head attention结构上是一个或多个one head  attention 平行组合。每个one head attention由scale dot-product attention与三个相应的权值矩阵组成。multi-head attention作为神经网络的单元层种类之一,在许多神经网络模型中具有重要应用,并且它也是当今十分火热的transformer模型的核心结构之一,掌握好这部分内容对transformer的理解具有重要意义。  

本文链接地址:https://www.jiuchutong.com/zhishi/300728.html 转载请保留说明!

上一篇:【深度学习】Pytorch实现CIFAR10图像分类任务测试集准确率达95%

下一篇:GPT-4:关于下一代人工智能模型的事实、谣言和期望

  • 红米note11tpro怎么打开5G(红米note11tpro怎么截长图)

    红米note11tpro怎么打开5G(红米note11tpro怎么截长图)

  • 在word中图片怎么移动(在word中图片怎么设置同样大)

    在word中图片怎么移动(在word中图片怎么设置同样大)

  • 荣耀9x充电功率(荣耀9x充电功率是多少瓦)

    荣耀9x充电功率(荣耀9x充电功率是多少瓦)

  • 华为mate30卡槽在哪儿(华为mate30卡槽在哪怎么打开)

    华为mate30卡槽在哪儿(华为mate30卡槽在哪怎么打开)

  • 抖音对方设置了隐私权限怎么关注(抖音对方设置了不看我,我发作品他还能看到我吗)

    抖音对方设置了隐私权限怎么关注(抖音对方设置了不看我,我发作品他还能看到我吗)

  • 为什么苹果11电池突然消耗快(为什么苹果11电池健康下降很快)

    为什么苹果11电池突然消耗快(为什么苹果11电池健康下降很快)

  • 苹果电脑桌面图标没了(苹果电脑桌面图片)

    苹果电脑桌面图标没了(苹果电脑桌面图片)

  • vcard文件是什么意思(vcard文件是什么格式)

    vcard文件是什么意思(vcard文件是什么格式)

  • 抖音观看历史在哪里(抖音观看历史在哪里打开最多保存多久视频)

    抖音观看历史在哪里(抖音观看历史在哪里打开最多保存多久视频)

  • 快手里面的视频怎么拍的(快手里面的视频小故事哪里找)

    快手里面的视频怎么拍的(快手里面的视频小故事哪里找)

  • coocaa是什么牌子的电视(coocaa是什么牌子的电视遥控器)

    coocaa是什么牌子的电视(coocaa是什么牌子的电视遥控器)

  • kindle充电指示灯不亮(kindle充电指示灯亮一下就)

    kindle充电指示灯不亮(kindle充电指示灯亮一下就)

  • 荣耀9x有没有双空间(荣耀9x有没有双卡双待)

    荣耀9x有没有双空间(荣耀9x有没有双卡双待)

  • 小爱音箱可以连接电视吗(小爱音箱可以连接酷狗音乐吗)

    小爱音箱可以连接电视吗(小爱音箱可以连接酷狗音乐吗)

  • 轮廓文本2在哪儿(轮廓文本2什么意思)

    轮廓文本2在哪儿(轮廓文本2什么意思)

  • 华为手机风控设置在哪(华为 风控)

    华为手机风控设置在哪(华为 风控)

  • 表格快捷删除键是哪个(表格里的删除快捷键)

    表格快捷删除键是哪个(表格里的删除快捷键)

  • 怎么让下划线长短一致(下划线怎么延长到一样长)

    怎么让下划线长短一致(下划线怎么延长到一样长)

  • 微信怎么发朋友圈不带图片(微信怎么发朋友圈文件)

    微信怎么发朋友圈不带图片(微信怎么发朋友圈文件)

  • 怎么彻底注销转转号(如何注销转账记录)

    怎么彻底注销转转号(如何注销转账记录)

  • lnvalid是什么意思(lnvalid是什么意思啊)

    lnvalid是什么意思(lnvalid是什么意思啊)

  • 采用虚拟存储器的目的(采用虚拟存储器的主要目的是什么)

    采用虚拟存储器的目的(采用虚拟存储器的主要目的是什么)

  • 爱奇艺会员怎样赠送好友(爱奇艺会员怎样查看使用人数)

    爱奇艺会员怎样赠送好友(爱奇艺会员怎样查看使用人数)

  • 电脑怎么不待机(电脑总是自动关机怎么回事)

    电脑怎么不待机(电脑总是自动关机怎么回事)

  • vue数据更新了,但是页面不渲染的问题(vue数据更新会触发什么生命周期)

    vue数据更新了,但是页面不渲染的问题(vue数据更新会触发什么生命周期)

  • Web Spider Fiddler - JS Hook 基本使用

    Web Spider Fiddler - JS Hook 基本使用

  • 增值税专票如何作废
  • 年末是否结转本年利润
  • 国际快递货运
  • etc扣费与发票不符
  • 原值和净值在报表怎么找
  • 年利润100万要交多少企业所得税
  • 房地产企业毛利率计算公式是什么
  • 对方发票丢失怎么办理
  • 财务报表中利润怎么算
  • 铁路大票抵扣几个点
  • 会计核算原则主要包括
  • 施工企业暂估成本税前扣除
  • 调整以前年度销售费用会计分录
  • 所得税汇算清缴报告在哪查
  • 职工死去还有工资吗
  • 企业如果亏损应该计提缴纳所得税吗
  • 个人股权转让申报表
  • 特定业务计算的应纳税所得额是什么意思
  • 什么是税收编码,在哪里查
  • 留抵进项税额可以挂在转出未交增值税吗
  • 小规模纳税人的起征点是多少
  • 个人储蓄存款利率
  • 机械租赁费如何入账科目
  • 来料加工的生产企业
  • 在两处取得收入
  • 园林绿化工程公司有哪些
  • 发出商品是在产品吗
  • 企业公益性捐赠扣除限额
  • 增值税专用发票的税率是多少啊
  • 普尔曼多少钱
  • 发票网上平台勾选流程
  • 捷税宝被稽查了吗
  • yolov5实例分割原理详解
  • 收到国税退回的发票
  • find命令结果怎么导出到文本
  • 企业所得税年报滞纳金从哪天开始算
  • 进销存表格模板明细账
  • 报税系统如何导出发票
  • 社保员工全额承担怎么写分录
  • sql server 触发器定时触发
  • 定期定额自行申报表
  • 销货方怎么开具购买方红冲的发票
  • 利息分月计提按多少
  • sql中判断函数
  • 新公司第一次报税需要准备什么
  • 应收应付核销的会计科目
  • 多提税金的具体分录
  • 会计凭证的填制与审核实训总结
  • 政府代建工程
  • 以前年度损益调整会计分录
  • 交通补贴属于工资薪金所得吗
  • 质量策划什么意思
  • 房租已支付未收到发票可以做费用吗
  • 私企的会计都做什么
  • mysql数据库数据迁移
  • xp系统控制面板在哪里打开
  • centos挂载点
  • 组装机没有装系统开机会怎么样
  • ubuntu系统中怎么安装mathematica13.1.0
  • windows7无法激活怎么解决方法
  • 微软官方解决升级问题
  • win7任务管理器怎么打开
  • windows10不能装windows7
  • win8桌面图片位置
  • win10预览版绿屏重启解决
  • linux创建.c
  • 如何让卖家给你乖乖退款
  • css全局样式基础代码
  • unity2d 阴影
  • 测试下载速度很快,实际下载很慢
  • js原生dialog
  • 解决跨域的原理
  • 刀具路径轨迹模拟
  • 浅析jQuery Ajax请求参数和返回数据的处理
  • 按钮控件有几种类型
  • unity优化技巧
  • 云南地税局官网
  • 举报电话12345管用吗
  • 广东省国家税务总局稽查局局长
  • 养猪环保局有什么新政策
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设