异步 Gibbs 采样保证快速混合和低偏差
我们提出了 DiGS (一种创新的采样方法) 用于从具有远离和断开模态的分布中进行有效采样。DiGS 通过将扩散模型与高斯卷积相结合,创造了一个桥接原始空间中孤立模态的辅助噪声分布,并且应用了 Gibbs 采样来交替地从两个空间中抽取样本。与诸如并行退火等现有方法相比,我们的方法在采样多模态分布时表现出更好的混合特性。通过在混合高斯、贝叶斯神经网络和分子动力学等各种任务中展示,我们的采样器取得了显著改进的结果。
Feb, 2024
该论文提出了一种并行的马尔可夫链蒙特卡罗算法,能够降低学习过程中的同步需求所带来的通信成本,并成功地实现了在多台机器上独立处理多个数据子集,从而生成大数据集的后验分布样本。
Nov, 2013
该研究使用 MAP 推断描述如何有效地从 Gibbs 分布中进行采样。通过引入低维扰动并解决相应的 MAP 分配,提供了从 Gibbs 分布中绘制近似或无偏样本的方式。同时通过该方法,获得了求解分函数下限的新方法。最后实验结果表明,该方法在 “高信号 - 高耦合” 模式下优异表现,并且可以处理更具挑战性的能量场景。
Sep, 2013
使用 conductance 方法增加状态空间进行研究,证明从系统扫描中得到的混合时间与从随机扫描中得到的混合时间最多相差多项式阶。
Jun, 2016
本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率,并讨论了克服这种泛化所引入的实际问题的技术。实验证明,该方法在探索复杂的多峰后验分布方面表现优秀。
Jun, 2017
该研究论文介绍了连续时间贝叶斯网络的一种新的采样方法 ——Gibbs 采样,以解决对多组件过程进行精确推理的困难。该方法可以适应进程的自然时间尺度,减少计算成本,并提供渐近无偏的近似。
Jun, 2012
本研究提出了两种新的基于优化驱动的蒙特卡罗算法,通过变量分割和数据增强来获得更快、更高效的采样方案,并且生成的样本可用于近似贝叶斯估计。此外,所提出的方法可以用较低成本的方式提供置信区间。两个经常研究的信号处理问题的模拟结果显示了这两种采样器的性能,这些结果与使用最新的优化和 MCMC 算法解决这些问题所获得的结果进行了比较。
Apr, 2018
介绍了一种确定性算法 herded Gibbs,特别适用于独立变量模型和完全连接概率图模型。实验证明 herded Gibbs 在图像去噪任务和命名实体识别任务中优于 Gibbs。
Jan, 2013
研究了自适应 Gibbs 和 Metropolis-within-Gibbs 采样器的各个版本,在运行过程中通过学习来动态更新其选择概率(和可能是其提议分布),并试图优化算法。我们提供了一个谨慎的例子,说明即使是看似简单的自适应 Gibbs 采样器也可能失败收敛。然后,我们提出了各种正面结果,保证了在某些条件下自适应 Gibbs 采样器的收敛性。
Jan, 2011
本文提出了基于 Gibbs 采样的快速辅助变量算法,利用 uniformization 方法和隐式马尔可夫模型来推断这些模型中的未观测路径,并通过在一系列连续时间贝叶斯网络上展示了比最先进的 Gibbs 采样算法更显著的计算优势。
Feb, 2012