Dec, 2023

AdamMCMC：结合 Metropolis 调整 Langevin 和基于动量的优化

PDF
TL;DR本文介绍了一种通过从温度后验分布的蒙特卡洛抽样来量化认识不确定性的新算法，该算法通过结合良好建立的 Metropolis Adjusted Langevin 算法（MALA）和基于 Adam 的动量优化，并利用一个椭圆提案分布，高效地从后验中抽取样本，我们证明所构造的链具有 Gibbs 后验分布作为一个不变分布，并收敛到该 Gibbs 后验分布的全变差。数值评估将推迟到第一个修改。
发现论文，激发创造
  • 近端马尔可夫链蒙特卡罗算法

    该论文提出了新的 Metropolis-adjusted Langevin 算法 (MALA)，利用凸分析高效地模拟从高维度密度中提取属于对数凹集的样本，可应用于高维、不连续可微分的密度分布，在图像处理和机器学习领域有重要应用价值。

    Jun, 2013

  • Metropolis-adjusted Langevin 算法的非凸采样

    本文提出的正则性条件使我们能够在许多统计和机器学习应用中获取更快的边界。其中包括使用弱凸先验分布的贝叶斯逻辑回归和学习 0-1 损失函数的线性分类器的非凸优化问题。本文的主要技术贡献是我们通过能量守恒误差对 MALA 的 Metropolis 接受概率进行分析，并通过三阶和四阶正则性条件限制该误差。

    Feb, 2019

  • L2M：基于优化驱动的二阶矩估计的实用后验拉普拉斯近似方法

    本文提出了一种新的方法（L2M），通过使用 Adagrad 等优化器已经估算出来的梯度二次矩来构造 Laplace 近似，而不需要计算曲率矩阵。该方法不需要改变模型或优化器，可以通过几行代码实现，并且不需要引入任何新的超参数。我们希望该方法能为深度神经网络的不确定性估计开辟新的研究方向。

    Jul, 2021

  • 关于深度贝叶斯神经网络后验的局部自适应可扩展扩散采样方法的收敛性

    深度神经网络的鲁棒性不确定性量化是许多深度学习应用的重要需求，贝叶斯神经网络是建模深度神经网络不确定性的一种有前景的方法，但从神经网络的后验分布中生成样本仍然是一个重大挑战。在本文中，我们展示了这些方法在采样分布时可能存在显著偏差，即使在步长趋近于零且批量大小足够大的情况下。

    Mar, 2024

  • 自适应优化方法实现神经网络的贝叶斯实用学习

    提出了一个新的框架，基于自适应优化算法（如 AdaGrad 和 Adam）的新的概率解释，估计神经网络权重的后验分布，并通过实验证明了学习到的不确定性能够正确地与权重的预测能力相关，并且在多臂赌博机的 Thompson 抽样设置中与标准方法的表现相比，Badam 方法的推导不确定性估计的质量是足够好的。

    Nov, 2018

  • 随机梯度马尔可夫链蒙特卡罗下的非凸贝叶斯学习

    本论文主要研究基于非凸贝叶斯学习问题的人工智能、深度神经网络、Langevin Monte Carlo、动态重要性抽样等方面的算法和理论，包括控制变量减少噪声能量估计器方差、基于非可逆性的群链复制交换等算法及解决梯度消失问题的动态重要性抽样等，旨在提高大数据情况下的效率与稳定性。

    May, 2023

  • 混合拉普拉斯逼近以改善深度学习后验不确定性

    本文介绍了一种基于高斯混合模型后验的预测方法，通过对独立训练的深度神经网络的拉普拉斯近似加权求和，可以缓解深度神经网络对离群值的过于自信预测问题，并在标准不确定性量化基准测试中与最先进的基准进行了比较。

    Nov, 2021

  • 蒙特卡洛马尔可夫链蒙特卡洛在期望最大化中的随机近似

    使用异步偏置的 MCMC 步骤分析了 SAEM 的渐近性和非渐近性，特别是偏置的影响，并在合成和真实数据集上进行了与渐近无偏算法 (MALA) 和渐近有偏算法 (ULA) 的数值实验比较。实验结果表明，ULA 在 Langevin 步长选择方面更稳定，并且有时可以实现更快的收敛。

    Feb, 2024

  • 动量粒子极大似然

    最大似然估计（MLE）的潜变量模型常常被重新设定为参数和概率分布的扩展空间上的优化问题。我们提出了一个受动力系统启发的方法，结合了 Nesterov 的加速梯度法、欠阻尼朗之万方程和粒子方法，使得该算法在连续时间中收敛到函数的唯一最小值。通过数值实验，我们证明该算法比现有方法更快地收敛，并与其他（近似的）MLE 算法相比具有优势。

    Dec, 2023

  • 基于 MCMC 的最大似然能量模型学习解剖学

    本文研究了 Markov 链蒙特卡罗采样在无监督最大似然学习中的效果，发现使用 ConvNet 势函数训练的最小框架可以实现高质量的短时合成，同时使用正确的 Langevin 噪声调整可以实现长时稳定采样；但使用收敛困难的 MCMC 训练 ConvNet 将导致样本失真。

    Mar, 2019