Oct, 2023

通过随机梯度哈密顿蒙特卡罗增强低精度采样

PDF
TL;DR低精度训练是一种具有低成本的技术，可以提高深度神经网络的训练效率，而不会牺牲太多准确性。本文通过在强对数凹和非对数凹分布中使用低精度和全精度梯度累加器的随机梯度哈密顿蒙特卡罗（SGHMC）进行低精度采样的研究。理论上，我们的结果表明，对于非对数凹分布，在 2-Wasserstein 距离中实现 ε- 错误，与最先进的低精度采样器随机梯度朗之万动力学（SGLD）相比，低精度 SGHMC 实现了二次改进（〜O（ε^ -2μ^ -2 log^2（ε^ -1）））。此外，我们证明了相对于低精度的 SGLD，低精度的 SGHMC 对量化误差更具鲁棒性，因为基于动量的更新对梯度噪音具有鲁棒性。实验上，我们在合成数据，MNIST、CIFAR-10 和 CIFAR-100 数据集上进行了实验，验证了我们的理论发现。我们的研究突出了低精度 SGHMC 作为一种高效精确的大规模和资源有限的机器学习采样方法的潜力。
low-precision trainingdeep neural networksstochastic gradient hamiltonian monte carlouncertainty quantificationresource-limited machine learning
发现论文，激发创造
  • 低精度随机梯度 Langevin 动力学

    本文研究了低精度随机梯度 Langevin 动力学（SGLD）和其量化方法在深度学习中的应用，发现低精度梯度累积器通过新开发的量化函数可以实现较少的成本和可比的性能。

    Jun, 2022

  • 随机方差减少的哈密顿蒙特卡洛方法

    本文提出了一种快速的随机 Hamilton Monte Carlo 方法，用于从一个光滑而强烈对数凹的分布中进行采样。通过梯度复杂度来衡量算法的性能，实验结果表明，该算法在采样效率上跑赢了现有的 HMC 和 Stochastic Gradient HMC 方法。

    Feb, 2018

  • 随机梯度哈密尔顿蒙特卡罗

    研究了随机梯度 HMC，提出了一种使用带有摩擦项的二阶 Langevin 动力学的变体，以消除噪声梯度的影响，并使用该方法在神经网络和在线贝叶斯矩阵分解任务中验证了其有效性。

    Feb, 2014

  • Langevin Monte Carlo 与不准确梯度的用户友好保证

    本文研究了从已知平滑和强对数凹概率密度函数中采样的方法， 分析了基于过渡态随机游走的近似采样方法，并提出了几种保证误差的方法， 包括第一阶 Langevin Monte Carlo 算法的误差上界、误差上界和梯度评估不准确的情况， 以及二阶 Langevin Monte Carlo 算法利用 log 密度的海森矩阵的保证。

    Sep, 2017

  • 非对数凹采样的随机梯度 Langevin 动力学的更快收敛

    本文提供一种新的收敛分析方法，使用辅助的时间可逆 Markov 链来分析随机梯度 Langevin 动力学（SGLD）对一类难以 log-concave 优化分布进行采样的效果。在目标分布的一定条件下，我们证明了 SGLD 的收敛速度优于过去的研究成果，并提供了一些关于 Langevin 算法收敛和快速随机梯度采样算法设计方面的新思路。

    Oct, 2020

  • 随机梯度马尔可夫链蒙特卡罗下的非凸贝叶斯学习

    本论文主要研究基于非凸贝叶斯学习问题的人工智能、深度神经网络、Langevin Monte Carlo、动态重要性抽样等方面的算法和理论，包括控制变量减少噪声能量估计器方差、基于非可逆性的群链复制交换等算法及解决梯度消失问题的动态重要性抽样等，旨在提高大数据情况下的效率与稳定性。

    May, 2023

  • 随机拟牛顿 Langevin Monte Carlo

    本研究提出了一种新的随机梯度马尔可夫链蒙特卡罗方法，通过使用拟牛顿优化方法的思想考虑局部几何，并使用样本和它们的梯度的有限历史直接近似逆海森矩阵。方法使用密集逆海森近似，同时保持时间和内存复杂度与问题的维数成线性关系，我们的理论分析表明，该方法在渐近无偏和一致后验期望的同时，实现了类似于黎曼方法的快速收敛率和对角线预处理方法的低计算要求。

    Feb, 2016

  • 随机梯度单项式 Gamma 采样器

    本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率，并讨论了克服这种泛化所引入的实际问题的技术。实验证明，该方法在探索复杂的多峰后验分布方面表现优秀。

    Jun, 2017

  • 高准确性低精度训练

    本文介绍了一种名为 HALP 的低精度随机梯度下降变体，通过使用 SVRG 和位中心技术来降低梯度方差和量化误差，将低精度计算应用于深度学习任务，并且实验验证表明 HALP 能够匹配全精度 SVRG 的收敛轨迹，性能优于通常的低精度 SGD。

    Mar, 2018

  • 使用随机梯度哈密顿蒙特卡罗推断深高斯过程

    本研究使用随机梯度哈密尔顿蒙特卡洛方法对深层高斯过程模型的非高斯后验分布抽样，提供了一种新的推断方法，成为 Deep Gaussian Processes 领域新的最优模型。

    Jun, 2018