AAAIFeb, 2024

Preconditioned Langevin 动态预期损失揭示 Hessian Rank

PDF
TL;DR预处理 Langevin 动力学在目标函数的稳态点附近的期望损失与目标函数的 Hessian 排名成正比，并在神经网络中的应用中比较了类似 SGD 和类似 Adam 的预处理器的期望损失。
langevin dynamicsexpected losspreconditioned ldhessian rankneural networks
发现论文，激发创造
  • 最优预处理与费舍尔自适应 Langevin 采样

    本文提出了一种基于最优先决条件的 Langevin 扩散优化方法，使用 Fisher 信息协方差矩阵作为最优先决条件，通过一种自适应 MCMC 方法从目标函数的梯度历史中学习先决条件，实现了在高维数据中的高效数据采样与处理。

    May, 2023

  • 自适应预处理随机梯度 Langevin 动力学

    本研究利用自适应参数预处理噪声的方法，将 Fisher Scoring 等高阶曲率信息引入 Stochastic Gradient Langevin Dynamics 中，使其能够有效地跳出深度神经网络中曲率异常的波动区域，与 Adam、AdaGrad 等一阶自适应方法的收敛速度相当，并在测试集上实现了与 SGD 同等的泛化性能。

    Jun, 2019

  • 深度神经网络的预条件随机梯度 Langevin 动力学

    本研究提出并验证了使用自适应预处理与 SGLD 相结合的方法，在深度神经网络的训练中可以解决参数空间的病态和过拟合问题，并且在逻辑回归，前馈神经网络和卷积神经网络等模型上，表现出了最先进的性能。

    Dec, 2015

  • 神经网络的自然 Langevin 动力学

    在机器学习中，使用贝叶斯后验概率分布作为模型参数可以避免过度拟合，Stochastic gradient Langevin dynamics (SGLD) 是一种近似贝叶斯后验概率分布的算法，使用易于计算的 Fisher 矩阵近似，使用 Fisher 矩阵预处理可以用于大型神经网络中，并将 SGLD 与 dropout 类似的正则化技术相结合以减少过拟合。

    Dec, 2017

  • 迈向量化 Adam 的预处理效果

    Adam 算法的预调节效果和其在减小病态问题方面的应用进行了详细的分析，为二次函数情况下量化了 Adam 算法能够对海森矩阵条件数的依赖程度，在一定条件下能优于梯度下降算法。

    Feb, 2024

  • 基于 Hessian 的 SGD 分析：深度网络的动力学和泛化

    本文通过对训练损失函数的海森矩阵及其相关量的分析，探讨了随机梯度下降（SGD）的优化动态和泛化行为等三个问题，并在合成数据、MNIST 和 CIFAR-10 数据集上进行了大量实验支持其理论结果。

    Jul, 2019

  • 实际中的可扩展自然梯度 Langevin 动力学

    本文比较了不同的预处理方法以规范噪声向量，从混合时间、正则化效果、协变量漂移检测和对抗样本抗干扰性等方面对其进行了评估。

    Jun, 2018

  • 通过 Langevin 动力学和生成式先验实现可证明的压缩感知

    本文研究了在压缩感知中使用深度生成模型以及通过随机梯度 Langevin 动力学方法实现收敛的性质，并证明了该方法的实验性能与标准的梯度下降方法相当。

    Feb, 2021

  • 揭示拉普拉斯近似用于不确定性估计的经验病理

    本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法，重点关注广泛应用的 Laplace 近似及其变体。我们的研究发现，传统的拟合 Hessian 矩阵的方法对于处理超出分布的检测效率产生了负面影响。我们提出了一种不同的观点，认为仅关注优化先验精度可以在超出分布检测中产生更准确的不确定性估计，并保持适度的校准度。此外，我们证明了这种特性与模型的训练阶段无关，而是与其内在性质相关。通过广泛的实验评估，我们证实了我们简化方法在超出分布领域中优于传统方法的优越性。

    Dec, 2023

  • 神经网络海森矩阵图的结构和排名的分析洞见

    本研究通过开发理论工具来分析 Hessian 映射的范围，提供了深度线性网络 Hessian 级别的确切公式和紧密的上限，以及其冗余程度的原因，从而深入探究了过参数化网络中冗余的来源和程度。

    Jun, 2021