本文提出了一种名为 'noise enhancement' 的方法，可有效控制随机梯度下降中的噪声，进而提高训练的泛化性能，实验证明，其比小批量训练的效果更佳。

Sep, 2020

研究表明在拥有相同迭代次数的情况下，小或适中大小的 batch 在测试集上比非常大的 batch 具有更好的表现，同时研究如何随着预算增长而改变最佳学习率计划，并提供一个基于随机微分方程的 SGD 动态的理论解释。

Jun, 2020

本研究探讨了梯度噪声在深度学习中的正则化作用，发现除了随机梯度下降噪声外，其他类型的噪声也能有效地进行梯度下降的正则化。同时该研究提出了一种噪声下降的算法，能够拓展噪声的选择，有利于大批量 SGD 训练，同时也不会影响泛化性能。

Jun, 2019

本文中，我们理论上证明了随机梯度下降法（SGD）中参数相关噪声（由小批量或标签扰动引起）比高斯噪声更加有效，并且具有对训练过度参数化模型的重要隐式正则化效应。

Jun, 2020

研究机器学习算法（如神经网络）的泛化能力如何受数据分布结构影响，提出了一种基于随机梯度下降的可解模型来预测任意协方差结构的特征测试误差，并在各种数据集上验证其准确性；同时证明小批量 SGD 在固定计算预算下的最优批量通常较小，取决于特征相关性结构。

Jun, 2021

通过研究损失曲率和梯度方差的交互作用对优化速度的影响，本文探讨了两者相互作用如何影响优化速度，并阐明了曲率和噪声对于正确估计概括性差距的相关性质，同时区分了 Fisher 矩阵、Hessian 矩阵和梯度的协方差矩阵，以澄清现有作品的局限性。

Jun, 2019

分析随机梯度下降中，小批量抽样引起的噪声和波动，揭示了大学习率可以通过引入隐含的正则化来帮助泛化的内在规律，并且可以提供一种理解随机梯度下降离散时序性对其功率规律现象的影响。

Feb, 2021

本文研究了神经网络训练中随机梯度噪声向量的分布，发现对于批量大小为 256 或以上的数据集和架构选择，分布最好可以用高斯分布来描述，解释了随机梯度下降在神经网络训练中比梯度下降更具普适性的原因。

Oct, 2019

研究机器学习中的二个核心问题 —— 如何预测最小值是否能推广到测试集，以及为什么随机梯度下降找到的最小值能很好地推广；探讨了小批量大小影响参数朝向大证据最小值的作用；当学习速率固定时，建议选择使测试集准确性最大化的最佳批次大小。

Oct, 2017

本文介绍了一种采用自适应 “大数据块” 随机梯度下降方案的方法，以维持梯度逼近的信噪比的稳定，从而实现自动学习率选择和避免步长衰减，并且不需要目标函数凸性的限制。

Oct, 2016