本文介绍了如何通过编程实现 MCMC 方法以进行参数估计和不确定性量化，并探讨了在机器学习和深度学习等大规模模型中应用 MCMC 方法的挑战，主要通过使用 Python 语言示例代码实现贝叶斯概率模型的应用。

Apr, 2023

提出了一种新的近似推断算法，通过按摩用户选择的 MCMC 采样器的动态来近似目标分布，并使用这些样本更新近似网络，从而提高其质量，进而允许高度复杂或隐含定义的近似族，包括通过深度神经网络扭曲随机性源而产生的近似。实验以使用深度生成模型的图像建模为测试。通过摊销 MCMC 训练的深度模型被证明可以生成逼真的图像样本，以及为具有缺失像素区域的图像产生多样的填充结果。

Feb, 2017

本文研究了利用贝叶斯神经网络提高计算机视觉中后验分布采样的效率，从而减少进行面部图像分析所需样本数量。

Nov, 2018

本文介绍了一种名为随机梯度马尔可夫链蒙特卡罗（SGMCMC）的可扩展蒙特卡罗算法，其利用数据子抽样技术降低了 MCMC 的迭代成本，并比较了其效率与 MCMC 在基准示例上的异同。

Jul, 2019

深度神经网络的鲁棒性不确定性量化是许多深度学习应用的重要需求，贝叶斯神经网络是建模深度神经网络不确定性的一种有前景的方法，但从神经网络的后验分布中生成样本仍然是一个重大挑战。在本文中，我们展示了这些方法在采样分布时可能存在显著偏差，即使在步长趋近于零且批量大小足够大的情况下。

Mar, 2024

本研究提出了一种新方法 A-NICE-MC，它训练了灵活的参数化 Markov 链内核以产生具有所需特性的样本，该方法利用了有效的无似然对抗训练方法来训练 Markov 链并模拟给定的数据分布，使用灵活的保体积流来获得 MCMC 的参数化内核。通过迭代地提高模型和样本的质量，使用自助法来训练有效的 Markov 链从规定的后验分布中进行采样。实证结果表明，A-NICE-MC 结合了 MCMC 的强大保证和深度神经网络的表现力，并能够显著优于竞争方法，如 Hamiltonian Monte Carlo。

Jun, 2017

深度学习模型不确定性估计中，传统的高斯分布不一定适用。本研究提出了一种构建计算图框架的方法，通过识别概率分布族，实现计算图的纬度独立或者仅仅弱相关，并进行蒙特卡罗采样来估计 KL 散度等指标，从而提高图像识别的准确性、稳定性以及训练过程中的内存和时间效率。

Feb, 2022

本文介绍了一种新型的高效样本推断框架，变分贝叶斯蒙特卡罗（VBMC），可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分，并在合成和实际数据的测试中表现出很好的性能。

Oct, 2018

本文提出了一种名为 PMCnet 的新算法，该算法采用自适应重要性采样技术，利用复杂的（通常是多峰的）后验概率分布的几何信息，为设计贝叶斯神经网络提供了成功的方法，以实现在医疗保健或自动驾驶等决策重要性较大的领域中的机器学习应用，并同时降低了计算成本。

Oct, 2022

基于深度学习的医学图像分割在许多任务上达到了最先进的性能。然而，最近的研究表明深度神经网络可能会出现错误校准和过度自信的问题，从而导致临床应用中的潜在失败。贝叶斯统计提供了一种直观的方法来检测深度学习的失败，基于后验概率估计。然而，对于大规模医学图像分割深度神经网络来说，贝叶斯深度学习和后验估计都是难以处理的。为了解决这个挑战，我们提出了一种基于哈密尔顿蒙特卡洛法和冷后验的贝叶斯学习框架，用于医学数据增强，命名为 HMC-CP。通过循环退火策略，我们进一步提出了 HMC 计算方法，捕捉后验分布的局部和全局几何特征，以与训练单个深度神经网络相同的计算预算要求高效地进行贝叶斯深度神经网络的训练。所得到的贝叶斯深度神经网络输出一组分割结果以及分割的不确定性。我们在心脏磁共振图像分割领域广泛评估了所提出的 HMC-CP 方法，使用了域内稳态自由进动序列（SSFP cine）图像以及域外的量化 $T_1$ 和 $T_2$ 映射数据集。

Mar, 2024