位置: IT常识 - 正文

对Transformer中Add&Norm层的理解(transformer中的参数)

编辑:rootadmin
对Transformer中Add&Norm层的理解 对Add&Norm层的理解Add操作Norm操作Add操作

推荐整理分享对Transformer中Add&Norm层的理解(transformer中的参数),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:transform方法会对产生的标量值进行,transform方法会对产生的标量值进行,transformer add norm,transformer中的参数,transformer中的参数,transformer方法,transformer中的参数,transformer中的参数,内容如对您有帮助,希望把文章链接给更多的朋友!

首先我们还是先来回顾一下Transformer的结构:Transformer结构主要分为两大部分,一是Encoder层结构,另一个则是Decoder层结构,Encoder 的输入由 Input Embedding 和 Positional Embedding 求和输入Multi-Head-Attention,再通过Feed Forward进行输出。

由下图可以看出:在Encoder层和Decoder层中都用到了Add&Norm操作,即残差连接和层归一化操作。 什么是残差连接呢?残差连接就是把网络的输入和输出相加,即网络的输出为F(x)+x,在网络结构比较深的时候,网络梯度反向传播更新参数时,容易造成梯度消失的问题,但是如果每层的输出都加上一个x的时候,就变成了F(x)+x,对x求导结果为1,所以就相当于每一层求导时都加上了一个常数项‘1’,有效解决了梯度消失问题。

Norm操作

首先要明白Norm做了一件什么事,从刚开始接触Transformer开始,我认为所谓的Norm就是BatchNorm,但是有一天我看到了这篇文章,才明白了Norm是什么。

假设我们输入的词向量的形状是(2,3,4),2为批次(batch),3为句子长度,4为词向量的维度,生成以下数据:

[[w11, w12, w13, w14], [w21, w22, w23, w24], [w31, w32, w33, w34][w41, w42, w43, w44], [w51, w52, w53, w54], [w61, w62, w63, w64]]

如果是在做BatchNorm(BN)的话,其计算过程如下:BN1=(w11+w12+w13+w14+w41+ w42+w43+w44)/8,同理会得到BN2和BN3,最终得到[BN1,BN2,BN3] 3个mean

对Transformer中Add&Norm层的理解(transformer中的参数)

如果是在做LayerNorm(LN)的话,则会进如下计算:LN1=(w11+w12+w13+w14+w21+ w22+w23+w24+w31+w32+w33+w34)/12,同理会得到LN2,最终得到[LN1,LN2]两个mean

如果是在做InstanceNorm(IN)的话,则会进如下计算:IN1=(w11+w12+w13+w14)/4,同理会得到IN2,IN3,IN4,IN5,IN6,六个mean,[[IN1,IN2,IN3],[IN4,IN5,IN6]] 下图完美的揭示了,这几种Norm 接下来我们来看一下Transformer中的Norm:首先生成[2,3,4]形状的数据,使用原始的编码方式进行编码:

import torchfrom torch.nn import InstanceNorm2drandom_seed = 123torch.manual_seed(random_seed)batch_size, seq_size, dim = 2, 3, 4embedding = torch.randn(batch_size, seq_size, dim)layer_norm = torch.nn.LayerNorm(dim, elementwise_affine = False)print("y: ", layer_norm(embedding))

输出:

y: tensor([[[ 1.5524, 0.0155, -0.3596, -1.2083], [ 0.5851, 1.3263, -0.7660, -1.1453], [ 0.2864, 0.0185, 1.2388, -1.5437]], [[ 1.1119, -0.3988, 0.7275, -1.4406], [-0.4144, -1.1914, 0.0548, 1.5510], [ 0.3914, -0.5591, 1.4105, -1.2428]]])

接下来手动去进行一下编码:

eps: float = 0.00001mean = torch.mean(embedding[:, :, :], dim=(-1), keepdim=True)var = torch.square(embedding[:, :, :] - mean).mean(dim=(-1), keepdim=True)print("mean: ", mean.shape)print("y_custom: ", (embedding[:, :, :] - mean) / torch.sqrt(var + eps))mean: torch.Size([2, 3, 1])y_custom: tensor([[[ 1.1505, 0.5212, -0.1262, -1.5455], [-0.6586, -0.2132, -0.8173, 1.6890], [ 0.6000, 1.2080, -0.3813, -1.4267]], [[-0.0861, 1.0145, -1.5895, 0.6610], [ 0.8724, 0.9047, -1.5371, -0.2400], [ 0.1507, 0.5268, 0.9785, -1.6560]]])

可以发现和LayerNorm的结果是一样的,也就是说明Norm是对d_model进行的Norm,会给我们[batch,sqe_length]形状的平均值。 加下来进行batch_norm,

layer_norm = torch.nn.LayerNorm([seq_size,dim], elementwise_affine = False)eps: float = 0.00001mean = torch.mean(embedding[:, :, :], dim=(-2,-1), keepdim=True)var = torch.square(embedding[:, :, :] - mean).mean(dim=(-2,-1), keepdim=True)print("mean: ", mean.shape)print("y_custom: ", (embedding[:, :, :] - mean) / torch.sqrt(var + eps))

输出:

mean: torch.Size([2, 1, 1])y_custom: tensor([[[ 1.1822, 0.4419, -0.3196, -1.9889], [-0.6677, -0.2537, -0.8151, 1.5143], [ 0.7174, 1.2147, -0.0852, -0.9403]], [[-0.0138, 1.5666, -2.1726, 1.0590], [ 0.6646, 0.6852, -0.8706, -0.0442], [-0.1163, 0.1389, 0.4454, -1.3423]]])

可以看到BN的计算的mean形状为[2, 1, 1],并且Norm结果也和上面的两个不一样,这就充分说明了Norm是在对最后一个维度求平均。 那么什么又是Instancenorm呢?接下来再来实现一下instancenorm

instance_norm = InstanceNorm2d(3, affine=False)output = instance_norm(embedding.reshape(2,3,4,1)) #InstanceNorm2D需要(N,C,H,W)的shape作为输入layer_norm = torch.nn.LayerNorm(4, elementwise_affine = False)print(layer_norm(embedding))

输出:

tensor([[[ 1.1505, 0.5212, -0.1262, -1.5455], [-0.6586, -0.2132, -0.8173, 1.6890], [ 0.6000, 1.2080, -0.3813, -1.4267]], [[-0.0861, 1.0145, -1.5895, 0.6610], [ 0.8724, 0.9047, -1.5371, -0.2400], [ 0.1507, 0.5268, 0.9785, -1.6560]]])

可以看出无论是layernorm还是instancenorm,还是我们手动去求平均计算其Norm,结果都是一样的,由此我们可以得出一个结论:Layernorm实际上是在做Instancenorm!

如果喜欢文章请点个赞,笔者也是一个刚入门Transformer的小白,一起学习,共同努力。

本文链接地址:https://www.jiuchutong.com/zhishi/296105.html 转载请保留说明!

上一篇:图像融合、Transformer、扩散模型(图像融合名词解释)

下一篇:Vue | Vue.js 全家桶 Pinia状态管理(vue全家桶的app项目代码)

  • 国家税务总局操作指引
  • 软件产品即征即退条件
  • 偷税漏税是指什么税种
  • 子公司向母公司借款利息税务处理
  • 所得税营业成本包括税金及附加吗
  • 员工可以签订两份劳动合同吗
  • 资产负债表固定资产清理怎么填
  • 汇算清缴a107020表
  • 投资损失怎么进行季度所得税申报
  • 原材料保险公司赔偿会计分录怎么写
  • 企业用流动资金怎么做账
  • 当期发生的费用
  • 员工替公司垫付的费用还没有报销就被开除了
  • 本月发放上月工资情况说明
  • 已抵扣进项税额的购进货物或者应税劳务
  • 国税开运输发票后地税怎么报税?
  • 2021年7月1日执行
  • 服务费与劳务费税率的区别
  • 银行摘要冲账是什么意思
  • 财务费用错记制造费用
  • 房租摊销表怎么做
  • 企业为员工缴纳社保可以抵税吗
  • 电脑搜索功能不准确
  • 装修公司开专票要交几个点
  • 成本核算的意义是什么
  • dpi鼠标按键是什么意思
  • 荣耀x10升级鸿蒙系统好用吗
  • Linux+Nginx+MySQL下配置论坛程序Discuz的基本教程
  • 电脑方案表格
  • 协调费用应该怎么表述
  • 工程材料怎么开票
  • 停车缴费怎么交
  • 工会经费税前扣除标准2022
  • 房地产开发企业销售自行开发的房地产项目
  • 塔卡夫斯基镜子
  • 企业没有实缴
  • 抄税的步骤
  • ai绘画图片
  • php wechat
  • 新建利润表
  • 企业缴纳职工社保需要每月去社保局吗
  • 三栏式明细账需要每笔结余额吗
  • 汇算清缴交税怎么做账务处理
  • 境外汇款收款人承担手续费
  • 固定资产盘亏是管理费用吗
  • 或有资产怎么处理
  • 无形资产175加计扣除例题
  • 关税完税价格如何计算消费税
  • 企业所得税征前还是征后
  • 装修公司让客户承担税费是否合理
  • 咨询费收入怎么入账
  • 港币转人民币差多少钱
  • 支付的员工餐费怎么记账
  • 小额零星物资
  • 现金流量表和利润表的勾稽关系
  • 货拉拉平台运费没有结打不通电话怎么办
  • 经营性应收项目和经营性应付项目
  • 存货周转率 高
  • 如何远程连接小米摄像头
  • system is boot up with
  • win7删除windows.old
  • 快速解决儿童鼻塞
  • win8的开始
  • linux怎么配置raid
  • perl-v
  • srslte源码分析
  • Linux 中的nc命令小结
  • 如何关闭危险端口
  • 鼠标滑动页面缩放取消
  • 简述javascript的作用
  • js excel解析
  • Node.js微信公众号开发
  • chrome excel
  • js mvvm 原理
  • 详解javascript事件冒泡
  • 安卓点赞脚本
  • 税款所属期起怎么填写
  • 财政局,人社局和法院哪个好
  • 重庆市电费网上查询
  • 提高税务管理水平,降低税务风险
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设