位置: IT常识 - 正文

Pytorch文档解读|torch.nn.MultiheadAttention的使用和参数解析(pytorch说明文档)

编辑:rootadmin
Pytorch文档解读|torch.nn.MultiheadAttention的使用和参数解析

推荐整理分享Pytorch文档解读|torch.nn.MultiheadAttention的使用和参数解析(pytorch说明文档),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pytorch documentation,pytorch中文文档,pytorch docs,pytorch中文官方文档,pytorch document,pytorch doc,pytorch document,pytorch documents,内容如对您有帮助,希望把文章链接给更多的朋友!

官方文档链接:MultiheadAttention — PyTorch 1.12 documentation

目录

多注意头原理

pytorch的多注意头

解读 官方给的参数解释:

多注意头的pytorch使用

完整的使用代码

多注意头原理

MultiheadAttention,翻译成中文即为多注意力头,是由多个单注意头拼接成的

它们的样子分别为:👇

        单头注意力的图示如下:

单注意力头 ​​ 

        整体称为一个单注意力头,因为运算结束后只对每个输入产生一个输出结果,一般在网络中,输出可以被称为网络提取的特征,那我们肯定希望提取多种特征,[ 比如说我输入是一个修狗狗图片的向量序列,我肯定希望网络提取到特征有形状、颜色、纹理等等,所以单次注意肯定是不够的 ]

        于是最简单的思路,最优雅的方式就是将多个头横向拼接在一起,每次运算我同时提到多个特征,所以多头的样子如下:

多注意力头

        其中的紫色长方块(Scaled Dot-Product Attention)就是上一张单注意力头,内部结构没有画出,如果拼接h个单注意力头,摆放位置就如图所示。

        因为是拼接而成的,所以每个单注意力头其实是各自输出各自的,所以会得到h个特征,把h个特征拼接起来,就成为了多注意力的输出特征。

pytorch的多注意头

        

首先可以看出我们调用的时候,只要写torch.nn.MultiheadAttention就好了,比如👇

import torchimport torch.nn as n# 先决定参数dims = 256 * 10 # 所有头总共需要的输入维度heads = 10 # 单注意力头的总共个数dropout_pro = 0.0 # 单注意力头# 传入参数得到我们需要的多注意力头layer = torch.nn.MultiheadAttention(embed_dim = dims, num_heads = heads, dropout = dropout_pro)解读 官方给的参数解释:

embed_dim - Total dimension of the model 模型的总维度(总输入维度)

        所以这里应该输入的是每个头输入的维度×头的数量

num_heads - Number of parallel attention heads. Note that embed_dim will be split across num_heads (i.e. each head will have dimension embed_dim // num_heads).

        num_heads即为注意头的总数量        

        注意看括号里的这句话,每个头的维度为 embed_dim除num_heads

        也就是说,如果我的词向量的维度为n,(注意不是序列的维度),我准备用m个头提取序列的特征,则embed_dim这里的值应该是n×m,num_heads的值为m。

【更新】这里其实还是有点小绕的,虽然官文说每个头的维度需要被头的个数除,但是自己在写网络定义时,如果你在输入到多注意力头前到特征为256(举例),这里定义时仍然写成256即可!!,假如你用了4个头,在源码里每个头的特征确实会变成64维,最后又重新拼接成为64乘4=256并输出,但是这个内部过程不用我们自己操心。

还有其他的一些参数可以手动设置:

dropout – Dropout probability on attn_output_weights. Default: 0.0 (no dropout).

bias – If specified, adds bias to input / output projection layers. Default: True.

add_bias_kv – If specified, adds bias to the key and value sequences at dim=0. Default: False.

add_zero_attn – If specified, adds a new batch of zeros to the key and value sequences at dim=1. Default: False.

Pytorch文档解读|torch.nn.MultiheadAttention的使用和参数解析(pytorch说明文档)

kdim – Total number of features for keys. Default: None (uses kdim=embed_dim).

vdim – Total number of features for values. Default: None (uses vdim=embed_dim).

batch_first – If True, then the input and output tensors are provided as (batch, seq, feature). Default: False (seq, batch, feature).

多注意头的pytorch使用

如果看定义的话应该可以发现:torch.nn.MultiheadAttention是一个类

我们刚刚输入多注意力头的参数,只是’实例化‘出来了我们想要规格的一个多注意力头,

那么想要在训练的时候使用,我们就需要给它喂入数据,也就是调用forward函数,完成前向传播这一动作。

forward函数的定义如下:

forward(query, key, value, key_padding_mask=None, need_weights=True, attn_mask=None, average_attn_weights=True)

下面是所传参数的解读👇

前三个参数就是attention的三个基本向量元素Q,K,V

query – Query embeddings of shape  for unbatched input,  when batch_first=False or  when batch_first=True, where  is the target sequence length,  is the batch size, and  is the query embedding dimension embed_dim. Queries are compared against key-value pairs to produce the output. See “Attention Is All You Need” for more details.  

       翻译一下就是说,如果输入不是以batch形式的,query的形状就是,是目标序列的长度,就是query embedding的维度,也就是输入词向量被变换成q后,q的维度,这个注释说是embed_dim, 说明输入词向量和q维度一致;

        若是以batch形式输入,且batch_first=False 则query的形状为,若 batch_first=True,则形状为。【batch_first是’实例化‘时可以设置的,默认为False】

key – Key embeddings of shape for unbatched input, when batch_first=False or when batch_first=True, where S is the source sequence length,is the batch size, and  is the key embedding dimension kdim. See “Attention Is All You Need” for more details.

        key也就是K,同理query,以batch形式,且batch_first=False,则key的形状为。是key embedding的维度,默认也是与相同,则是原序列的长度(source sequence length)

value – Value embeddings of shape for unbatched input,  when batch_first=False or when batch_first=True, where  is the source sequence length,  is the batch size, and  is the value embedding dimension vdim. See “Attention Is All You Need” for more details.

         value是V,与key同理

     其他的参数先不赘述

key_padding_mask – If specified, a mask of shape (N, S)(N,S) indicating which elements within key to ignore for the purpose of attention (i.e. treat as “padding”). For unbatched query, shape should be (S)(S). Binary and byte masks are supported. For a binary mask, a True value indicates that the corresponding key value will be ignored for the purpose of attention. For a byte mask, a non-zero value indicates that the corresponding key value will be ignored.

need_weights – If specified, returns attn_output_weights in addition to attn_outputs. Default: True.

attn_mask – If specified, a 2D or 3D mask preventing attention to certain positions. Must be of shape (L, S)(L,S) or (N\cdot\text{num\_heads}, L, S)(N⋅num_heads,L,S), where NN is the batch size, LL is the target sequence length, and SS is the source sequence length. A 2D mask will be broadcasted across the batch while a 3D mask allows for a different mask for each entry in the batch. Binary, byte, and float masks are supported. For a binary mask, a True value indicates that the corresponding position is not allowed to attend. For a byte mask, a non-zero value indicates that the corresponding position is not allowed to attend. For a float mask, the mask values will be added to the attention weight.

average_attn_weights – If true, indicates that the returned attn_weights should be averaged across heads. Otherwise, attn_weights are provided separately per head. Note that this flag only has an effect when need_weights=True. Default: True (i.e. average weights across heads)

层的输出格式:

attn_output - Attention outputs of shape when input is unbatched,  when batch_first=False or  when batch_first=True, where  is the target sequence length,  is the batch size, and  is the embedding dimension embed_dim.

        以batch输入,且batch_first=False,attention输出的形状为, 是目标序列长度,是batch的大小,是embed_dim(第一步实例化设置的)

attn_output_weights - Only returned when need_weights=True. If average_attn_weights=True, returns attention weights averaged across heads of shape ) when input is unbatched or , where NN is the batch size,is the target sequence length, and S is the source sequence length. If average_weights=False, returns attention weights per head of shapewhen input is unbatched or .

        只有当need_weights的值为True时才返回此参数。

完整的使用代码multihead_attn = nn.MultiheadAttention(embed_dim, num_heads)attn_output, attn_output_weights = multihead_attn(query, key, value)
本文链接地址:https://www.jiuchutong.com/zhishi/287189.html 转载请保留说明!

上一篇:【前端文件下载】直接下载和在浏览器显示下载进度的下载方法(前端实现文件下载功能)

下一篇:踩坑记录1——RK3588编译OpenCV(踩坑视频)

  • 应交增值税一般纳税人的账怎么做
  • 取得投资款属于什么过程
  • 买房子一定要交税吗
  • 契税是什么税,怎么算的
  • 结构性存款现金流量表如何分类
  • 电子发票丢失如何税前扣除
  • 高新技术企业外债便利化
  • 教育协会发的证有用吗
  • 企业预收款项业务不多的情况下可以不设置预收账款科目
  • 工资扣款的规定
  • 保险营销员的佣金怎么算个税
  • 已经开具的增值发票
  • 扣服装费的收入如何交增值税?
  • 农业生产免税政策
  • 车船税发票丢了咋办
  • 土地出售涉及哪些税
  • 税务变更
  • 商品和服务税收编码怎么查
  • 公司注销后款未收完怎么办
  • 合并报表收费
  • 金蝶软件不审核直接过账
  • 本年利润年末账务处理
  • 核定应纳税额的具体程序和方法
  • 税务师入会与不入会冲突
  • 支付安装设备所有费用
  • 单位代扣公积金比例
  • win7系统为什么没有虚拟光驱
  • 金融资产减值损失计入什么科目
  • 错账的种类
  • PHP:disk_total_space()的用法_Filesystem函数
  • 老板垫付的货款会计分录
  • 密歇根湖怎么读
  • 计提本月固定资产折旧,其中车间折旧额1100
  • 巨人堤道上的玄关图片
  • php安装及使用教程
  • php实现购物车功能源代码
  • php显示错误报告方式
  • 马卡雷纳大教堂
  • Nat Biotechnol –精准 CRISPR-Cas噬菌体疗法将为重症感染患者带来福音
  • uniapp dom操作
  • chrome 浏览器插件开发
  • 用谷歌浏览
  • python合并多个excel
  • verilog hdl中任务可以调用
  • 嵌入式软件开票要求
  • 城镇土地使用税减免税政策
  • python3多态
  • 分类信息有哪些网站
  • 抵债不动产处置如何征税
  • 医院如何开票
  • 年度利润总额的英文缩写
  • 红冲去年的成本怎么做账
  • 查补以前年度所得税
  • 单据 凭证
  • 减资步骤
  • 个体户能开建筑劳务发票吗
  • 收到的赔款罚款怎么做账
  • 会计的总目标是什么意思
  • 新建公司需要什么
  • xp系统提升cpu最高性能
  • linux系统常用命令怎么记住
  • win10修改默认
  • win8电脑网络受限
  • 延迟windows更新
  • 防止linux断电系统崩溃
  • 体验Win8灵活分屏贴靠功能图文介绍
  • 快速掌握一个方法
  • float浮动布局原理
  • unity创建射线
  • linux shell函数
  • 防止shell命令注入
  • vue实现淘宝布局
  • 安卓开发常见问题解决
  • Android自定义控件高级进阶与精彩实例
  • jquery鼠标悬停显示内容
  • python批量填表
  • 纳税人不如实申报税收怎么办
  • 四川省地方税务局2017年1号公告
  • 社保申报截止日期每月2023年
  • 广州财务顾问公司
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设