Feb, 2024

扩散吉布斯抽样

PDF
TL;DR我们提出了 DiGS (一种创新的采样方法) 用于从具有远离和断开模态的分布中进行有效采样。DiGS 通过将扩散模型与高斯卷积相结合，创造了一个桥接原始空间中孤立模态的辅助噪声分布，并且应用了 Gibbs 采样来交替地从两个空间中抽取样本。与诸如并行退火等现有方法相比，我们的方法在采样多模态分布时表现出更好的混合特性。通过在混合高斯、贝叶斯神经网络和分子动力学等各种任务中展示，我们的采样器取得了显著改进的结果。
发现论文，激发创造
  • 傾聽噪音：基于吉布斯扩散的盲去噪

    利用 Gibbs 扩散（GDiff）方法，在参数化高斯噪声的假设下，提出了一种盲去噪的方法，通过一种条件扩散模型和蒙特卡洛采样器交替采样，可以推断出信号和噪声参数。

    Feb, 2024

  • 分散合并马尔可夫链蒙特卡洛扩散生成模型

    使用扩散生成建模方法拟合子后验分布的密度近似，以更高效地解决合并问题，并且在高维问题上比现有的密度估计方法性能更好。

    Jun, 2024

  • 异步 Gibbs 采样保证快速混合和低偏差

    本文研究异步 Gibbs 抽样中的偏差和混合时间问题，展示理论结果与实验结果的相符性。

    Feb, 2016

  • 分布式多项式混合模型的收缩吉布斯采样器在联邦学习中的应用

    通过使用合适的统计量，本文提出了一种新的 DPMM（Dirichlet Process Mixture Models）的分布式马尔科夫链蒙特卡罗（MCMC）推理方法（DisCGS）。该方法使用了折叠的吉布斯采样器，并且特别设计用于在独立异构的机器间处理分布式数据，使其在横向联合学习中具备应用能力。我们的方法取得了非常有前景的结果和显著的可扩展性。例如，对于包含 10 万个数据点的数据集，集中式算法需要大约 12 小时完成 100 次迭代，而我们的方法仅需 3 分钟完成相同的迭代次数，将执行时间缩短了 200 倍，同时不影响聚类性能。

    Dec, 2023

  • 随机梯度单项式 Gamma 采样器

    本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率，并讨论了克服这种泛化所引入的实际问题的技术。实验证明，该方法在探索复杂的多峰后验分布方面表现优秀。

    Jun, 2017

  • 扩散模型的并行采样

    本文介绍了一种新的方法 ParaDiGMS，通过并行执行多个去噪步骤来加速预训练扩散模型的采样速度。该方法通过使用 Picard 迭代猜测未来去噪步骤的解，并迭代地进行加工，从而使扩散采样过程可以并行化，使计算机可用性更高。使用 ParaDiGMS，各种机器人和图像生成模型的采样速度提高 2-4 倍，无论对任务奖励、FID 分数、还是 CLIP 分数都没有任何可感知的退化。

    May, 2023

  • 使用双重随机 MCMC 学习深度生成模型

    本文介绍了倍增随机梯度 MCMC 这一简单通用的方法，用于在折叠的连续参数空间中对深度生成模型进行（近似）贝叶斯推理。我们的方法不仅适用于密度估计和数据生成的任务，还可以用于缺失数据的填充，且在性能方面优于许多现有的竞争对手。

    Jun, 2015

  • 高效多模态无导数贝叶斯推断与 Fisher-Rao 梯度流

    本文研究了精确抽样问题，特别关注涉及贝叶斯推断中的大规模逆问题的科学和工程应用。通过引入基于 Fisher-Rao 梯度流的动力学系统，提出了一种处理贝叶斯推断中的计算挑战的方法，并应用高斯混合逼近和 Kalman 方法以解决多模态分布的问题。所提出的方法可以高效地处理多模态分布，名为 Gaussian Mixture Kalman Inversion（GMKI）。在理论和数值实验中进行的多个实验证明了 GMKI 的有效性，包括概念验证、二维实例以及从正时间的解数据中恢复 Navier-Stokes 初始条件的大规模应用。

    Jun, 2024

  • 扩散后验采样用于一般噪声反问题

    本文提出一种扩展扩散模型求解广泛的噪声非线性逆问题的方法，该方法利用后验采样实现扩散采样和流形约束梯度融合，并适用于各种噪声统计和非线性问题，代码公开。

    Sep, 2022

  • 粒子去噪扩散采样器

    利用新颖的评分匹配损失，我们提出了一种基于粒子迭代方案的粒子去噪扩散取样器（PDDS），它能够在温和假设下提供渐近一致的估计，我们在多模态和高维取样任务上演示了 PDDS。

    Feb, 2024