深度学习之concatenate和elementwise操作（二）

深度学习之concatenate和elementwise操作（二） 一、深度学习里面的element-wise特征相乘和相加到底有什么区别？

推荐整理分享深度学习之concatenate和elementwise操作（二），希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助，希望把文章链接给更多的朋友！

很多深度学习模型在设计时，中间特征在分支处理后，然后可能会采用element-wise相乘或相加，不知道这个乘和加的细微区别？

答：相加的两个tensor通常都是具有特征意义的tensor，相乘的话，一般来说，其中一个tensor是有类似权重的含义，而不是特征意义。

二、concatenation operation

向量之间的拼接

代码例子如下：

import numpy as npa = np.array([[1, 2], [3, 4]])print(a.shape)b = np.array([[5, 6]])print(b.shape)np.concatenate((a, b))c= np.concatenate((a, b))print(c)print(c.shape)Out[1]: (2, 2)Out[2]: (1, 2)Out[3]: array([[1, 2], [3, 4], [5, 6]])Out[4]: (3, 2)三、Dot Product

向量点积

import numpy as npnp1 = np.array([4, 6])np2 = np.array([[-3], [7]])print(np.dot(np1, np2)##  [30]# 4*-3 + 6*7 = 42*12 = 30四、element-wise product

element-wise product实际上是两个同样维度的向量/矩阵每一个元素分别相乘

这个可以参见：我的另一篇文章

import numpy as npnp1 = np.array([4, 6])np2 = np.array([-3, 7])print(np2 * np1)# [-12 42]import numpy as npnp1 = np.array([4, 6])print(np1 * 3)# [12 18]五、DL中，何时用concatenate/elementwise乘法/elementwise加法呢?

深度学习中，信息相互融合的时候，什么时候用concatenate，什么时候用elementwise乘法呢，什么时候又用elementwise加法呢？

答：

点乘其实是gate的形式 可能会损失性能。concatenate则是简单拼接，要网络自己学习变换。

实际过程中可能只能试。

六、feature map的几种连接形式

（1）concatenate：通道合并，每个通道对应着对应的卷积

（2）element-wise addition（计算量比（1）小）：将对应的特征图相加，然后卷积。对应通道的特征图语义类似，对应的特征图共享一个卷积核。

对比：

add方式：add的特征结合方式使得描述图像的特征下的信息量增多了，但是描述图像的维度本身并没有增加，只是每一维下的信息量在增加，这显然是对最终的图像的分类是有益的。

concatenate方式：该方式是通道数的合并，也就是说描述图像本身的特征数（通道数）增加了，而每一特征下的信息是没有增加的。

 

显然，concatenate的计算量 > add的计算量

另：还有element-wise max和element-wise average方式 实验结果：max>avg>concate

七、总结

通过add操作会得到新的特征，这个新的特征可以反映原始特征的一些特性，但是原始特征的一些信息也会由于add方式造成损失，但是concatenate就是将原始特征直接拼接，让网络去学习应该如何融合特征，这个过程中信息不会损失。

concat带来的计算量较大，在明确原始特征的关系可以使用add操作融合的话，使用add操作可以节省计算代价!

参考：

深度学习中---merger层、concatenate层、add层的区别_夜幕下的光123的博客-CSDN博客_concatenate层

Pytorch教程（十五）：element-wise、Broadcasting_vincent_duan的博客-CSDN博客_element-wise