位置: IT常识 - 正文

自注意力(Self-Attention)与Multi-Head Attention机制详解(自注意力机制是什么)

编辑:rootadmin
自注意力(Self-Attention)与Multi-Head Attention机制详解

推荐整理分享自注意力(Self-Attention)与Multi-Head Attention机制详解(自注意力机制是什么),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:自注意力机制的作用,自注意力机制和多头注意力机制的区别,自注意力机制和多头注意力机制的区别,自注意力机制权重怎么求的,自注意力机制和卷积神经网络,自注意力机制原理,自注意力机制原理,自注意力机制是什么,内容如对您有帮助,希望把文章链接给更多的朋友!

  自注意力机制属于注意力机制之一。与传统的注意力机制作用相同,自注意力机制可以更多地关注到输入中的关键信息。self-attention可以看成是multi-head attention的输入数据相同时的一种特殊情况。所以理解self attention的本质实际上是了解multi-head attention结构。

一:基本原理  

  对于一个multi-head attention,它可以接受三个序列query、key、value,其中key与value两个序列长度一定相同,query序列长度可以与key、value长度不同。multi-head attention的输出序列长度与输入的query序列长度一致。兔兔这里记query的长度为Lq,key与value的长度记为Lk。

  其次,对于输入序列query、key、value,它们特征长度(每个元素维度dim)是可以不同的,记这三个序列的dim分别为Dq、Dk、Dv。在这些序列输入multi-head attention后,内部的序列的dim是可以与Dq、Dk与Dv不同的,我们称之为嵌入(embedding)维度,记为De,输出的序列dim也是De。

  multi-head attention是由一个或多个平行的单元结构组合而成,我们称每个这样的单元结构为一个head(one head,实际上也可以称为一个layer),为了方便,兔兔暂且命名这个单元结构为one-head attention,广义上head数为1 时也是multi-head attention。one-head attention结构是scaled dot-product attention与三个权值矩阵(或三个平行的全连接层)的组合,结构如下图所示

二:Scale Dot-Product Attention具体结构

  对于上图,我们把每个输入序列q,k,v看成形状是(Lq,Dq),(Lk,Dk),(Lk,Dv)的矩阵,即每个元素向量按行拼接得到的矩阵。Linear层的参数分别为(Dq,De),(Dk,De),(Dv,De),则通过全连接层,输出矩阵形状为(Lq,De),(Lk,De),(Lv,De),我们令通过全连接层得到的矩阵为Q、K、V。

  Linear层的本质是权值矩阵W与输入矩阵相乘(有时也可以加上偏置bias),在one-head attention中,我们令与Q、K、V相乘的权值矩阵分别为,它们的形状为(Dq,De),(Dk,De),(Dv,De)。bias的使用与否对后面的结构并无影响,在一些深度学习框架中默认加bias,但是《Attention Is All You Need》原文公式中并未体现bias,只有W,所以兔兔在后面讲解部分,不考虑bias。

  在输入数据通过Linear操作得到Q、K、V矩阵后,我们才真正来到Scale dot-product attention部分。

  Scale dot-product attention可以由一个简洁的公式来表示,其中dk即为我们前面的Dk:

  这个公式得到的输出即为onehead-attention的输出,它是一个形状为(Lq,De)的矩阵,表示长度为Lq,维度为De的输出序列。公式中:

有一个名字:attention weights,形状为(Lq,Lk),它可以大概理解为q序列与k序列各个对应元素之间相关性,类似于你在网页上输入关键词query,网页中之前存在的索引key,根据query与key的相关与否来决定选哪些索引key,并根据key来推荐相应的value。

  讲到这里,实际上已经介绍完multihead-attention的单元结构了。但是这个过程还可以更加深入地理解,下图是Lq与Lk相同时Scale dot-product attention的详细结构(一般Lq和Lk相等很可能Q,K,v来自同一序列,此时即为self attention,兔兔后面会讲到)。

  上图展示的是一个接收Q,K,V形状都是(3,De)的一个scale dot-product attention结构,我们把Q、K、V都拆解成长度为3,维度为De的序列。每次q与各个k计算内积得到一个数a,这些数通过softmax得到新的数a'(这里softmax是整体)。得到的a'与各自的v向量相乘得到新的向量,最终这些新的向量相加得到一个长度为De的向量,之后依次计算得到向量b1、b2,把这些向量b拼成矩阵即为最终的输出。对于这个过程,如果把序列q、k、v用前面的矩阵Q、K、V整体表示,实际上就是前面兔兔给出的那个公式,只不过该该公式以矩阵的形式并行运算,使整个计算过程简洁并且速度更快。

   当然,Lq在很多情况不一定等于Lk,此时若再用上图表示该过程会很乱。所以兔兔用下图来表示scale dot-product attention过程。

三:Scale Dot-Product Attention中的掩码mask问题自注意力(Self-Attention)与Multi-Head Attention机制详解(自注意力机制是什么)

  mask在scale dot-product attention中是可有可无的,在有些情况下使用mask效果会更好,有时则不需要mask。mask作用于scale dot-product attention中的attention weight。前面讲到atttention weights形状是(Lq,Lk),而使用mask时一般是self-attention的情况,此时Lq=Lk,attention weights 为方阵。mask的目的是使方阵上三角为负无穷(或是一个很小的负数),只保留下三角,这样通过softmax后矩阵上三角趋近于0。这样处理的目的是考虑到实际应用中的情况,例如翻译任务中,我们希望在读取句子序列时每次只利用前面读过的词,与后面还没有读到的词句无关。

   实际上,mask的种类可以不止是掩去上三角,根据实际情况也可以使矩阵右侧某些列或任意某些位置为-inf,来掩掉这些位置的信息。

  对于multi-head attention,如果使用mask,则每个head一般都使用相同的mask,此时该模型也称为masked multihead-attention

import numpy as npimport torchweight=torch.randint(0,5,size=(5,5))mask=torch.tensor(np.array([[False,True,True,True,True], [False,False,True,True,True], [False,False,False,True,True], [False,False,False,False,True], [False,False,False,False,False]]))masked_weight=weight.masked_fill(mask,-1000)out=nn.Sigmoid()(masked_weight)print(masked_weight)print(out)'''-------------------------------'''>>>tensor([[ 0, -1000, -1000, -1000, -1000], [ 3, 4, -1000, -1000, -1000], [ 3, 2, 0, -1000, -1000], [ 4, 3, 1, 2, -1000], [ 2, 3, 0, 2, 3]])>>>tensor([[0.5000, 0.0000, 0.0000, 0.0000, 0.0000], [0.9526, 0.9820, 0.0000, 0.0000, 0.0000], [0.9526, 0.8808, 0.5000, 0.0000, 0.0000], [0.9820, 0.9526, 0.7311, 0.8808, 0.0000], [0.8808, 0.9526, 0.5000, 0.8808, 0.9526]])四:Multi-Head Attention结构

  multi-head attention由多个one-head attention组成。我们记一个multi-head attention有n个head,第i个head的权值分别为,则:

这个过程为:输入q,k,v矩阵分别输入各one-head attention,各个head输出矩阵按特征(dim)维度拼接得到新的矩阵,再与矩阵相乘即得到输出(实际上也可以是一个全连接层Linear),并且输出形状仍是(Lq,De)。

  关于其中的参数W,实际上可能会有两种情况,

(1)的形状为:(Lq,De),(Lk,De),(Lk,De),则每个head形状为(Lq,De),拼接后得到的矩阵形状(Lq,n×De),形状为:(n×De,De)。

(2)的形状为:(Lq,De/n),(Lk,De/n),(Lk,De/n)(此时要保证嵌入维度De能整除head数n),则每个head的形状为(Lq,De/n),拼接后得到的矩阵形状(Lq,De),形状为:(De,De)。

虽然这两种方式内部参数不同,但输入与输出数据形状不变。Pytorch中的MuitiheadAttention使用的是方法(2)。

四:对self-attention的理解

  self-attention是multi-head attention三个输入序列都来源于同一序列的情况。设输入序列为input,此时输入的q,k,v三个序列全是input,所以此时Lq=Lk,Dq=Dk=Dv。由于所有输入都是同一个序列,所以也很好理解为什么叫做自注意力。

五:query、key、value的理解与来源

  query、key、value分别为查询、键、值。它们可以由同一个序列得到,也可以是具有实际意义的不同序列。从检索的角度来看,query是需要检索的内容,key是索引,value为待检索的值,attention的过程是计算query与key的相关性,获得attention map,在利用 attention map获取value中的特征值。在self-attention中,query,key,value为同一序列,一般情况下,query为一个序列,key与value为同一序列,更一般情况,query,key,value为三个不同的序列。

六:应用实例1.使用Pytorch构建multi-head attentionclass attention(nn.Module): def __init__(self,embed_dim,num_heads): ''' :param embed_dim: 嵌入特征个数 :param num_heads: scale dot-product attention层数 ''' super(attention, self).__init__() self.embed_dim=embed_dim self.num_heads=num_heads self.w_q=[nn.Linear(embed_dim,embed_dim) for i in range(num_heads)] self.w_k=[nn.Linear(embed_dim,embed_dim) for i in range(num_heads)] self.w_v=[nn.Linear(embed_dim,embed_dim) for i in range(num_heads)] self.w_o=nn.Linear(embed_dim*num_heads,embed_dim) self.softmax=nn.Softmax() def single_head(self,q,k,v,head_idx): '''scale dot-scale attention ''' q=self.w_q[head_idx](q) k=self.w_k[head_idx](k) v=self.w_v[head_idx](v) out=torch.matmul(torch.matmul(q,k.permute(0,2,1)),v)/self.embed_dim return out def forward(self,q,k,v): output=[] for i in range(self.num_heads): out=self.single_head(q,k,v,i) output.append(out) output=torch.cat(output,dim=2) output=self.w_o(output) print(output.shape) return outputif __name__=='__main__': x=torch.randn(size=(3,2,8),dtype=torch.float32) q,k,v=x,x,x att=attention(embed_dim=8,num_heads=4) output,attention_weight=att(q,k,v)2.使用Pytoch中nn.MultiheadAttention方法

在Pytorch中,MultiheadAttention方法中必需参数有2个:

  embed_dim:嵌入维度,即De。

  num_heads:head数

  虽然前面讲到Dq、Dk、Dv、De是可以不等的,但是pytorch中输入的Dq要等于De,并且默认Dv、De也等于De,如果k,v的特征dim不等于De,需要修改kdim,vdim参数。对于接收的数据,pytorch默认形式是(seq,batch,feature),即第一个维度是序列长度,第二个是batch size,第三个是特征dim。如果我们习惯于(batch,seq,feature)形式,可以修改参数batch_first=True。

import torchfrom torch import nnq=torch.randint(0,10,size=(10,9,8),dtype=torch.float32) #batch_size,seq_length,dimk=torch.randint(0,10,size=(10,7,4),dtype=torch.float32)v=torch.randint(0,10,size=(10,7,3),dtype=torch.float32)attention=nn.MultiheadAttention(embed_dim=8,num_heads=4,kdim=4,vdim=3,batch_first=True)attn_output, attn_output_weights=attention(q,k,v)print(attn_output.shape)print(attn_output_weights.shape)

当然,除了这些参数,pytorch的MultiheadAttention中还有更多的参数,例如各种bias,表示是否加入偏置。

七:总结

  自注意力机是multi-head attention模型在所有输入都是同一序列一种情况。multi-head attention结构上是一个或多个one head  attention 平行组合。每个one head attention由scale dot-product attention与三个相应的权值矩阵组成。multi-head attention作为神经网络的单元层种类之一,在许多神经网络模型中具有重要应用,并且它也是当今十分火热的transformer模型的核心结构之一,掌握好这部分内容对transformer的理解具有重要意义。  

本文链接地址:https://www.jiuchutong.com/zhishi/300728.html 转载请保留说明!

上一篇:【深度学习】Pytorch实现CIFAR10图像分类任务测试集准确率达95%

下一篇:GPT-4:关于下一代人工智能模型的事实、谣言和期望

  • 怎样借助热点引流提升流量(怎样借助热点引流网络)

    怎样借助热点引流提升流量(怎样借助热点引流网络)

  • 蓝牙耳机怎么断开连接(蓝牙耳机怎么断断续续的声音)

    蓝牙耳机怎么断开连接(蓝牙耳机怎么断断续续的声音)

  • applemusic怎么定时关闭(applemusic怎么定时停止播放)

    applemusic怎么定时关闭(applemusic怎么定时停止播放)

  • opporeno4使用的是什么处理器(opporeno4手机好用不)

    opporeno4使用的是什么处理器(opporeno4手机好用不)

  • 抖音怎么批量取消喜欢(抖音怎么批量取消点赞过的视频)

    抖音怎么批量取消喜欢(抖音怎么批量取消点赞过的视频)

  • 苹果双屏幕怎么用的(苹果如果双屏)

    苹果双屏幕怎么用的(苹果如果双屏)

  • 苹果x不开免提声音小(苹果X不开免提听不到声音)

    苹果x不开免提声音小(苹果X不开免提听不到声音)

  • c语言中一个函数由函数首部和什么两部分(c语言中一个函数内部可以定义另一个函数)

    c语言中一个函数由函数首部和什么两部分(c语言中一个函数内部可以定义另一个函数)

  • 华为手机怎么设置永不休眠(华为手机怎么设置24小时时间显示)

    华为手机怎么设置永不休眠(华为手机怎么设置24小时时间显示)

  • iphone响很久用户正忙(iphone响很久弹出用户正忙是不是关机了)

    iphone响很久用户正忙(iphone响很久弹出用户正忙是不是关机了)

  • qq主页的达人图标怎么关闭(qq达人标)

    qq主页的达人图标怎么关闭(qq达人标)

  • 手机怎样输入希腊字母(手机怎样输入希腊语)

    手机怎样输入希腊字母(手机怎样输入希腊语)

  • 苹果id共用能看到浏览网页吗(苹果id共用能看见safari浏览网页吗)

    苹果id共用能看到浏览网页吗(苹果id共用能看见safari浏览网页吗)

  • qq定时说说在哪里看(qq定时说说在哪里发)

    qq定时说说在哪里看(qq定时说说在哪里发)

  • 怎么把手机电话本导出(怎么把手机电话号码复制到卡上)

    怎么把手机电话本导出(怎么把手机电话号码复制到卡上)

  • 华为9x怎么设置人脸识别(华为9x怎么设置来电铃声)

    华为9x怎么设置人脸识别(华为9x怎么设置来电铃声)

  • 不插显卡能开机吗(不插显卡能开机插显卡就开不了怎么办)

    不插显卡能开机吗(不插显卡能开机插显卡就开不了怎么办)

  • 苹果8plus怎么关闭横屏(苹果8plus怎么关静音模式)

    苹果8plus怎么关闭横屏(苹果8plus怎么关静音模式)

  • 塑材转换机怎么用(塑材转换机怎么解锁)

    塑材转换机怎么用(塑材转换机怎么解锁)

  • VCR视频如何剪辑制作(vcr制作教程)

    VCR视频如何剪辑制作(vcr制作教程)

  • qq面对面快传苹果怎么安装(qq面对面快传苹果和安卓)

    qq面对面快传苹果怎么安装(qq面对面快传苹果和安卓)

  • win10显卡高性能模式(w10显卡怎么开高性能)

    win10显卡高性能模式(w10显卡怎么开高性能)

  • 收据怎么写/收据的写法(收据怎么写比较规范)

    收据怎么写/收据的写法(收据怎么写比较规范)

  • DRWTSN16.EXE是病毒程序吗 DRWTSN16进程是不是病毒(winspool.drv病毒)

    DRWTSN16.EXE是病毒程序吗 DRWTSN16进程是不是病毒(winspool.drv病毒)

  • 人工智能内容生成元年—AI绘画原理解析(人工智能内容生成)

    人工智能内容生成元年—AI绘画原理解析(人工智能内容生成)

  • Vue实战篇三十五:实现滑动拼图验证登录(vue实例教程)

    Vue实战篇三十五:实现滑动拼图验证登录(vue实例教程)

  • 增值税进项发票网上勾选平台
  • 保理公司会计核算讲解
  • 公司年末报表
  • 个体户一季度不超过30
  • 开票名称开错了
  • 定期定额纳税申报表是个人所得税吗
  • 餐饮企业销售外购食品 增值税税率cpa
  • 劳务派遣个人所得税
  • 收到备付金怎么做分录
  • 某企业月末由仓库转来发料凭证汇总表
  • 购买货物运费怎么做分录
  • 公司支付给股东付银行利息要交税吗怎么交
  • 小规模公司没有进项票 开票需要交什么税
  • 印花税的计税金额
  • 存货跌价准备怎么计提
  • 税务部门实名认证
  • 哪些企业所得税汇算清缴
  • 出口汇兑损益的会计分录
  • 回迁安置房拆一次多少钱
  • 往来款和应收账款
  • 或有事项确认预计负债的分录
  • win10运行红色警戒2卡顿
  • 快速迅雷
  • 主营业务成本与其他业务成本的区别
  • 股份制企业是什么
  • 把输入法关闭
  • php编写登陆界面
  • php调用mysql索引查询
  • msoobe.exe是什么
  • 最小的3g无线路由器型号
  • moviemaker是什么软件
  • 现金溢余基本账务处理
  • wordpress登录入口
  • 十大网页游戏
  • 科技型中小企业享受优惠税收政策
  • 要点初见:Stable Diffusion NovelAI模型优质文字Tag汇总与实践【魔咒汇总】
  • 发行通告
  • php安装swoole扩展
  • 长期待摊费用的摊销方法
  • lstm输出多个预测值
  • ci框架视频教程
  • 如何让header居中
  • CSS SandBox
  • 贷款 减值
  • 开了红字信息表当月怎么做账
  • 铁路运费的印花税进什么科目
  • 临时工工资无发票可以扣除吗
  • 测验3: 基本数据类型 (第3周)
  • 公司处置汽车
  • 借款需要缴纳个人所得税吗
  • 工程材料发票备注要求
  • 会计分录记录于什么中
  • 未投入使用的固定资产折旧计入什么科目
  • 企业代扣代缴个税
  • 个税速算扣除数2023
  • 无发票材料可以入材料账吗
  • 超市的进场费怎么入会计科目
  • 国际货运代理公司税率为啥是免税
  • 生产性生物资产账务处理
  • 新公司成立建账流程
  • mysql 高效分页
  • 构建dockerfile
  • linux 获取网页
  • windowsaudio服务不存在或已删除
  • win7电脑能登qq但打不开网页怎么办
  • 红帽企业版更新了吗
  • windows mobile10
  • win8的ie浏览器
  • css布局的经典网站
  • redhat linux6.5安装教程
  • eclipse cocos2dx Couldn't load cocos2dcpp from loader
  • python的删除
  • jquery控制css样式
  • u3d官方
  • python中闭包的作用
  • 互联网巨头bat有哪些
  • 供暖配套费
  • 税务局周末上班没
  • 国税总局北京税务局
  • 公司借款给员工是否合法
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设