ICMLJun, 2020

随机梯度下降中噪声的泛化益处

PDF
TL;DR研究表明在拥有相同迭代次数的情况下，小或适中大小的 batch 在测试集上比非常大的 batch 具有更好的表现，同时研究如何随着预算增长而改变最佳学习率计划，并提供一个基于随机微分方程的 SGD 动态的理论解释。
minibatch stochastic gradient descentdeep neural networksgeneralizationhyperparameter tuninglearning rate schedule
发现论文，激发创造
  • 贝叶斯视角下的泛化和随机梯度下降

    研究机器学习中的二个核心问题 —— 如何预测最小值是否能推广到测试集，以及为什么随机梯度下降找到的最小值能很好地推广；探讨了小批量大小影响参数朝向大证据最小值的作用；当学习速率固定时，建议选择使测试集准确性最大化的最佳批次大小。

    Oct, 2017

  • 通过噪声增强改善泛化能力

    本文提出了一种名为 'noise enhancement' 的方法，可有效控制随机梯度下降中的噪声，进而提高训练的泛化性能，实验证明，其比小批量训练的效果更佳。

    Sep, 2020

  • 随机梯度下降中小批量噪声的强度

    分析随机梯度下降中，小批量抽样引起的噪声和波动，揭示了大学习率可以通过引入隐含的正则化来帮助泛化的内在规律，并且可以提供一种理解随机梯度下降离散时序性对其功率规律现象的影响。

    Feb, 2021

  • 关于深度学习大批量训练的广义缩小和尖峰最小化问题

    通过实验证明大批量随机梯度下降法容易陷入训练和测试函数的尖峰最小值，从而导致模型泛化能力下降，而小批量方法表现更好，这可能是由于梯度估计中的固有噪声引起的，可以采用多种策略来帮助大批量方法消除这种泛化差距。

    Sep, 2016

  • 不使用大型小批次，使用本地化 SGD

    本文提出了一种后局部随机梯度下降（SGD）方法，并通过标准基准测试表明，相比大批量训练，该方法显著提高了模型的泛化性能，同时保持相同的效率和可扩展性。此外，本文对一系列局部 SGD 变体的通信效率与性能权衡进行了广泛的研究。

    Aug, 2018

  • 子采样不是魔法：大批量训练对差分隐私随机优化的作用

    研究了批量大小对区分隐私随机梯度下降（DP-SGD）中的总梯度方差的影响，旨在理论上解释大批量大小的有用性。发现 DP-SGD 的总梯度方差可以分解为子抽样引起的方差和噪声引起的方差，并证明在迭代次数无限的极限情况下，噪声引起的方差与批量大小无关，而子抽样引起的方差随着批量大小的增加而减小，因此大批量可以减小有效总梯度方差。在实际设置中验证了渐近区域的相关性，并发现在渐近区域之外，总梯度方差随着大批量的增加而进一步减小。还找到了一个足够的条件，表明大批量同样可以减小一个 DP-SGD 迭代的有效随机噪声方差。

    Feb, 2024

  • 大批次随机梯度下降与结构协方差噪声的实证研究

    本研究提出一种改善大批量训练的泛化性能并维持最优收敛的方法，即在梯度中添加协方差噪声，通过对噪声矩阵的对数 Frobenius 范数进行特征提取获得更精确的学习效果表现。实证研究表明该方法不仅可以提高大批量训练的泛化性能，而且不会影响优化性能以及训练时间。

    Feb, 2019

  • 关于噪声梯度下降泛化为随机梯度下降的研究

    本研究探讨了梯度噪声在深度学习中的正则化作用，发现除了随机梯度下降噪声外，其他类型的噪声也能有效地进行梯度下降的正则化。同时该研究提出了一种噪声下降的算法，能够拓展噪声的选择，有利于大批量 SGD 训练，同时也不会影响泛化性能。

    Jun, 2019

  • 超越隐性偏见: SGD 噪声在在线学习中的无关性

    通过对图像和语言数据的广泛实证分析，我们表明在在线学习中，大的学习速率和小的批次大小并不能为 SGD 带来任何隐式偏差优势。

    Jun, 2023

  • 随机梯度噪声的非高斯性

    本文研究了神经网络训练中随机梯度噪声向量的分布，发现对于批量大小为 256 或以上的数据集和架构选择，分布最好可以用高斯分布来描述，解释了随机梯度下降在神经网络训练中比梯度下降更具普适性的原因。

    Oct, 2019