Feb, 2024

基于深度展开的马尔可夫链蒙特卡洛梯度下降的收敛加速

PDF
TL;DR该研究提出了一种可训练的基于采样的求解器用于组合优化问题，使用一种称为深展开的深度学习技术。该求解器基于 Ohzeki 方法，结合了马尔可夫链蒙特卡洛（MCMC）和梯度下降，并通过最小化损失函数来训练其步长。在训练过程中，我们提出了一种基于采样的梯度估计，用方差估计代替自动微分，从而避免了由于 MCMC 的不可微分性导致的反向传播失败。对于几个组合优化问题的数值结果表明，与原始的 Ohzeki 方法相比，所提出的求解器显著加速了收敛速度。
发现论文，激发创造
  • 通过深度展开加速 Stein 变分梯度下降的收敛

    本文中提出了一种深度展开的可训练 SVGD 算法，用于加速其收敛速度，并通过数值模拟实验证明了该算法相较于传统的 SVGD 变体具有更快的收敛速度。

    Feb, 2024

  • 基于梯度的自适应马尔科夫链蒙特卡罗

    本研究提出使用基于梯度的学习方法来自适应马尔可夫链蒙特卡罗（MCMC）提议分布，应用随机梯度优化能通过定义的最大熵正则化目标函数来优化提议分布的参数，并证明相比传统自适应 MCMC 方法，该方法带有更高的性能；并应用于多元随机步长 Metropolis 和 Metropolis-adjusted Langevin 提议与完整协方差矩阵，并证实该方法在 MCMC 算法中表现优异，包括哈密顿蒙特卡罗方案。

    Nov, 2019

  • 非线性贝叶斯反演的高效几何马尔可夫链蒙特卡罗方法，由导数信息的神经运算符提供支持

    我们提出了一种运算学习方法来加速几何马尔可夫链蒙特卡罗（MCMC）用于解决无限维非线性贝叶斯反问题。

    Mar, 2024

  • 随机梯度马尔可夫链蒙特卡罗下的非凸贝叶斯学习

    本论文主要研究基于非凸贝叶斯学习问题的人工智能、深度神经网络、Langevin Monte Carlo、动态重要性抽样等方面的算法和理论，包括控制变量减少噪声能量估计器方差、基于非可逆性的群链复制交换等算法及解决梯度消失问题的动态重要性抽样等，旨在提高大数据情况下的效率与稳定性。

    May, 2023

  • 提高高维贝叶斯优化中的样本效率与 MCMC

    基于马尔可夫链蒙特卡罗方法，我们提出了一种新的算法来从近似后验中高效采样，该算法在高维度的顺序优化中表现优于现有方法。

    Jan, 2024

  • 使用双重随机 MCMC 学习深度生成模型

    本文介绍了倍增随机梯度 MCMC 这一简单通用的方法，用于在折叠的连续参数空间中对深度生成模型进行（近似）贝叶斯推理。我们的方法不仅适用于密度估计和数据生成的任务，还可以用于缺失数据的填充，且在性能方面优于许多现有的竞争对手。

    Jun, 2015

  • 马尔可夫链梯度下降

    本文研究随机梯度下降的变体 —— 马尔科夫链梯度下降算法，并针对非凸问题和不可逆有限状态马尔科夫链等情形，提出可行的非等时收敛证明，并通过实验验证其有效性。

    Sep, 2018

  • 逆向渲染的联合采样和优化

    使用 Monte Carlo 估算的梯度进行优化参数时，通过对每次迭代进行多个梯度样本的平均化可以减少方差。然而，对于需要进行数千次优化迭代的问题，这种方法的计算成本会迅速上升。我们推导了一个理论框架，通过交错采样和优化，更新和重复使用过去的样本，使用低方差的有限差分估计器描述每次迭代之间的梯度估计变化。通过结合比例和有限差分样本，我们在整个优化过程中持续减小我们的新颖梯度元估计器的方差。我们研究了我们的估计器与 Adam 的相互关系，并推导出一种稳定的组合。我们将我们的方法应用于反向路径追踪，并演示了我们的估计器在困难的优化任务上加快收敛的速度。

    Sep, 2023

  • 随机梯度单项式 Gamma 采样器

    本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率，并讨论了克服这种泛化所引入的实际问题的技术。实验证明，该方法在探索复杂的多峰后验分布方面表现优秀。

    Jun, 2017

  • Metropolis-Hastings 微分优化难以计算的密度函数

    本文提出了一种用于无偏区别 Metropolis-Hastings 采样器的方法，使得我们能够通过概率推理进行不可行目标密度的优化，该方法通过融合随机区分的最新进展和马尔可夫链耦合方案，可以使该过程无偏、低方差和自动化，然后将其应用于期望为不可行目标密度的优化中。在文中所提出的方法中，分别应用到高斯混合模型中找到不明显的观察和 Ising 模型中的特定热容的最大化。

    Jun, 2023