【小记】BatchSize的数值是设置的越大越好吗(batchsize1)

推荐整理分享【小记】BatchSize的数值是设置的越大越好吗(batchsize1)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:batch size step,batchsize定义,batch size,batchsize定义,batch size step,batch size step,batch size,batch size,内容如对您有帮助，希望把文章链接给更多的朋友！

通常我们可能会认为设置较大的batchsize时，模型的训练效果会比较好。原因有以下几点：

1、模型由于每次得到较多的训练数据，模型的下降方向会更加准确，模型训练曲线会更加平滑。

2、减少了训练时间。同样的epoch时，batchsize需要的batch数目减少了，所以处理速度变快了。

但是啊但是，

较大的batchsize有以下几点问题需要注意：

1、内存问题。较大的batch可能会造成内存/显存溢出

2、泛化能力下降。这一点是我之前没有考虑到的一点。使用太大的批处理大小可能会在训练期间对网络的准确性产生负面影响，因为它减少了梯度下降的随机性。

使用较小的批处理大小产生更不稳定、更随机的权重更新。这有两个积极的影响。首先，它可以帮助训练“跳出”之前可能陷入的局部最小值，其次，它可以使训练稳定在“更平坦”的最小值，这通常表明泛化性能更好。

怎么选取训练神经网络时的Batch size? - 知乎 (zhihu.com)

上面这篇链接里(侵删)指出：