Dec, 2015

随机梯度 MCMC 与随机优化之间的桥梁

PDF
TL;DR本文探讨了随机梯度马尔可夫链蒙特卡罗算法与随机优化算法之间的关系，并通过应用模拟退火算法对 SGMCMC 算法进行了扩展，提出了一种具有自适应元素动量权重的新型随机优化方法，并针对多个深度神经网络模型进行试验，得到与相关随机优化算法相比最先进的结果。
stochastic gradient markov chain monte carlobayesian methodssimulated annealingadaptive preconditionersdeep neural networks
发现论文，激发创造
  • 随机梯度马尔可夫链蒙特卡洛

    本文介绍了一种名为随机梯度马尔可夫链蒙特卡罗（SGMCMC）的可扩展蒙特卡罗算法，其利用数据子抽样技术降低了 MCMC 的迭代成本，并比较了其效率与 MCMC 在基准示例上的异同。

    Jul, 2019

  • 用于深度模型的贝叶斯学习的高阶随机梯度热力控制器

    提出一种使用高效对称分裂积分器的多元随机梯度 NHT 采样方法，以更准确、稳健和更快地收敛于深度贝叶斯模型的目标后验分布。

    Dec, 2015

  • 利用随机梯度下降进行近似贝叶斯推断

    本文从随机过程的角度出发，论证了常数学习率随机梯度下降算法（constant SGD）可用作一种近似贝叶斯推断算法，其可优化模型中的超级参数，同时分析了 Langevin Dynamics 和 Stochastic Gradient Fisher Scoring 的近似误差以及 Polyak 平均算法的最优性。在此基础上，提出了一种可扩展的近似马尔科夫链蒙特卡罗（MCMC）算法，即平均随机梯度采样算法（Averaged Stochastic Gradient Sampler）。

    Apr, 2017

  • 随机拟牛顿 Langevin Monte Carlo

    本研究提出了一种新的随机梯度马尔可夫链蒙特卡罗方法，通过使用拟牛顿优化方法的思想考虑局部几何，并使用样本和它们的梯度的有限历史直接近似逆海森矩阵。方法使用密集逆海森近似，同时保持时间和内存复杂度与问题的维数成线性关系，我们的理论分析表明，该方法在渐近无偏和一致后验期望的同时，实现了类似于黎曼方法的快速收敛率和对角线预处理方法的低计算要求。

    Feb, 2016

  • 隐马尔可夫模型的随机梯度马尔可夫链蒙特卡罗方法

    开发基于随机梯度 MCMC 算法的隐马尔可夫模型参数学习方法，通过利用内在的记忆衰减特性以应对离散状态与小批量数据带来的挑战，进而在合成实验和电离子通道记录数据上展示该算法的有效性和性能优势。

    Jun, 2017

  • 面向可扩展贝叶斯采样的统一粒子优化框架

    本文针对大数据分析，提出了一种基于 Wasserstein 梯度流的粒子优化框架，用于统一随机梯度 MCMC 和 Stein 变分梯度下降算法，并能够更有效地解决概率测度空间上的挑战。实验结果表明，该框架能够提高贝叶斯抽样的效率和可伸缩性。

    May, 2018

  • 常步长随机梯度下降与马尔可夫链的桥梁

    本文应用马尔科夫链理论，通过随机梯度下降（SGD）算法来计算目标函数，并提供了一种新的 Richardson-Romberg 外推方法来优化 SGD 算法，通过渐进展开分析，总结出其与初始条件、噪声和步长的相关性。

    Jul, 2017

  • 随机梯度 MCMC 的元学习

    本文提出了第一个元学习算法，可以自动设计 SG-MCMC 采样器的连续动力学，学习的采样器泛化了 Hamiltonian 动力学，并且在贝叶斯全连接神经网络和贝叶斯循环神经网络任务上进行了验证，表明学习采样器优于通用手动设计的 SG-MCMC 算法，并且可以推广到不同的数据集和更大的架构。

    Jun, 2018

  • 随机梯度 MCMC 的完整配方

    本文提供了一种基于连续马尔可夫过程的通用配方，用于构建包括随机梯度版本的 MCMC 采样器，并提出了一种新的状态自适应采样器：随机梯度 Riemann Hamiltonian Monte Carlo (SGRHMC)。通过实验证明，该算法继承了 Riemann HMC 的优点，并具有可扩展性。

    Jun, 2015

  • 基于梯度的自适应马尔科夫链蒙特卡罗

    本研究提出使用基于梯度的学习方法来自适应马尔可夫链蒙特卡罗（MCMC）提议分布，应用随机梯度优化能通过定义的最大熵正则化目标函数来优化提议分布的参数，并证明相比传统自适应 MCMC 方法，该方法带有更高的性能；并应用于多元随机步长 Metropolis 和 Metropolis-adjusted Langevin 提议与完整协方差矩阵，并证实该方法在 MCMC 算法中表现优异，包括哈密顿蒙特卡罗方案。

    Nov, 2019