位置: IT常识 - 正文
【pytorch】有关nn.EMBEDDING的简单介绍(pytorch nn.parameters)
编辑：rootadmin推荐整理分享【pytorch】有关nn.EMBEDDING的简单介绍(pytorch nn.parameters)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:pytorch nn.lstm,pytorch nn.model,pytorch nn.parameters,pytorch nn.parameters,pytorch nn.parameter,pytorch gan 例子,pytorch的nn.linear,pytorch的nn.linear,内容如对您有帮助，希望把文章链接给更多的朋友！
假设有一本字典，就一共只有10单词，每个单词有5个字母组成。 每一页上只写一个单词，所以这10页纸上分别写了这10个单词。
内如如下，
[[a,p,p,l,e], # page 0[g,r,e,e,n], # page 1[s,m,a,l,l], # page 2[w,a,t,c,h], # page 3[b,a,s,i,c], # page 4[e,n,j,o,y], # page 5[c,l,a,s,s], # page 6[e,m,b,e,d], # page 7[h,a,p,p,y], # page 8[p,l,a,t,e] # page 9]我们假定这本字典叫embeding(10,5), 这里的10和5即上面介绍的含义，10个单词，每个单词5个字母；
现在我要查看第2页和第3页（从0开始），那么我会得到 [s,m,a,l,l]， [w,a,t,c,h] 内容。
假定我们约定一个暗号，你告诉我页数，我就返回对应页数的单词。
如，你发给我暗号 [ [2,3], [1,0], [8,6] ] (即 shape为（3，2）的LongTensor)
我通过查询字典，告诉你
[[ [s,m,a,l,l]， [w,a,t,c,h] ],[ [g,r,e,e,n], [a,p,p,l,e] ],[ [h,a,p,p,y], [c,l,a,s,s] ]]这里的字典就是embeding table，而暗号就是查询这个table的索引值。
2. 为什么需要embeding？
有的时候我们直观看到的不一定就是事物的本质，我们需要透过现象看到“本质特征”或“隐藏特征”。 那么怎么透过呢？ 或者说什么是“隐藏特征”呢？
embeding就是做这个事情，它将一句话，或者一段音通过查询“embeding table”来获取到“隐藏特征”。
embeding table一般是一组浮点型数值，它跟CNN，LSTM网络中一样，属于网络可学习的参数。 所以它的值不是人为定义的，人也定义不了这样的“字典”，它是通过深度学习网络中逐渐学习到的。
3. 回到pytochpytorch中的nn.Embeding提供了这样的实现；
下面是一个例子
import torch# 如同上面例子中的page索引a = torch.LongTensor([[1,2], [5,2]]) # 一个10个单词，每个单词5个字母的字典emb = torch.nn.Embedding(10,5)print(emb.weight, emb.weight.shape)# 同过索引查询embeding内容y = emb(a)print(y, y.shape)可以看到“字典”不再是单词，而是一些浮点数，这些浮点数表示的就是隐藏特征。
4. 官方APIembedding
4.1参数介绍4.1.1 num_embedding和embedding_dimnum_embedding, embedding_dim就是上文中介绍 “单词”和“每个单词字母个数”，它表示了字典中embedding个数，以及每个embedding的维度。
4.1.2 padding_idxpadding_idx，是不更新梯度的“单词”的index；可以在字典中指定一个不被训练的embedding。 看下面的例子：
import torcha = torch.LongTensor([[1,2], [5,2]])emb = torch.nn.Embedding(10,5, padding_idx=0)print(emb.weight, emb.weight.shape)y = emb(a)print(y, y.shape)这里的padding_index=0,它表示该index下的embedding不会学习更新，初始化的时候默认也是0.
4.1.3 max_norm和norm_typemax_norm,norm_type是获取到embedding后做正则化； norm_type 的可取值为1，2. 分别表示范式1和范式2，默认是2.
max_norm是定义范式中的最大值，如果embeding中的值大于这个阈值，则会重新做一下norm