Nov, 2023

概率编程的扩散模型

PDF
TL;DR我们提出了一种称为 Diffusion Model Variational Inference (DMVI) 的新方法，用于在概率编程语言 (PPLs) 中进行近似推断。DMVI 利用扩散模型作为真实后验分布的变分逼近，通过推导贝叶斯建模中使用的边际似然目标的新的上界。DMVI 实现简单，允许在 PPLs 中进行无麻烦的推断，并且不像使用标准化流进行变分推断那样有任何限制条件。我们对一组常见的贝叶斯模型进行了 DMVI 的评估，并展示其后验推断通常比 PPLs 中的现代方法更准确，同时计算成本相似且需要较少的手动调整。
diffusion model variational inferenceautomated approximate inferenceprobabilistic programming languagesdiffusion modelsposterior inferences
发现论文，激发创造
  • 扩散变分推断：扩散模型作为表达丰富的变分先验

    我们提出了去噪扩散变分推断（DDVI）算法，它是一种基于扩散模型作为表达性变分后验的潜变量模型的近似推断算法。我们的方法通过辅助潜变量来增强变分后验，从而得到一类表达性模型，通过反转用户指定的噪声过程在潜变量空间中进行扩散。通过优化受 wake-sleep 算法启发的边缘似然的一种新的下界，我们拟合这些模型。我们的方法易于实现（它适用于正则化的 ELBO 进一步扩展），与黑盒变分推断兼容，并且优于基于归一化流或对抗网络的替代近似后验类别。当应用于深层潜变量模型时，我们的方法得到了去噪扩散 VAE（DD-VAE）算法。我们将该算法应用于生物学中的一个激励任务 -- 从人类基因组推断潜在祖先 -- 在 Thousand Genomes 数据集上优于强基线模型。

    Jan, 2024

  • 可编程变分推理的概率编程

    我们提出了一种基于组合程序转换的方法，用于支持概率编程语言中的变分推断，该方法能够灵活地处理多个关键问题，包括自动微分、密度累积、跟踪和无偏梯度估计策略。此外，相比于现有的支持变分推断的概率编程语言，我们的设计在用户定义的目标、梯度估计策略和模型、变分族类别方面具有更高的表达能力。

    Jun, 2024

  • 基于扩散模型的原则性概率成像使用即插即用的先验

    采用扩散模型和马尔可夫链 - 蒙特卡洛算法解决反问题，通过降低到高斯去噪问题的后验采样，有效地实现了更准确的重建和后验估计。

    May, 2024

  • 改进降噪扩散概率模型

    通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

    Feb, 2021

  • 六个简单步骤的去噪扩散概率模型

    通过六个简单步骤清晰陈述，简化并阐明噪声扩散概率模型（DDPM）的构建及其工作原理。

    Feb, 2024

  • 扩散模型求解逆问题的变分视角

    本文提出一种基于变分法的正则化方法 RED-Diff 来解决扩散模型后验分布不可计算的问题，通过在不同时间步引入不同的去噪器来实现对图像结构的约束，进而提高扩散模型在图像修复等领域的应用性能。

    May, 2023

  • 概率编程中的自动变分推断

    本研究提出了一种新算法，基于随机梯度的变分程序来进行概率编程中的近似推理，特别适用于高度结构化的分布。我们展示了如何自动推导平均场概率程序并优化它们，并证明我们的方法比其他算法提高了推理效率。

    Jan, 2013

  • 变分扩散模型

    本文介绍了一种基于扩散的生成模型，并通过优化噪声时间表等带有高效率的方法，使其在标准图像密度估计基准测试中获得最先进的似然。

    Jul, 2021

  • 离散状态空间中的结构去噪扩散模型

    本文提出了离散去噪扩散概率模型（D3PM），用于离散数据的扩散式生成模型，包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要，且提出的新损失函数在字符级别文本生成上取得了很好的效果。

    Jul, 2021

  • 收缩扩散概率模型

    扩散概率模型（DPM）是生成模型中一种有前途的技术，在时间反转的马尔科夫扩散过程和得分匹配的基础上取得成功。然而，鉴于得分匹配可能存在问题，我们提出了一种新的设计 DPMs 的准则 —— 反向采样的压缩，从而构建了一类新型的压缩 DPMs（CDPMs）。该方法通过在反向过程中进行压缩，减小了得分匹配错误和离散化误差，使得 CDPMs 在错误源方面具有鲁棒性。理论结果和实验证实了我们的提议，值得注意的是，在 CIFAR-10 数据集上，压缩子变差保持（sub-VP）表现最好。

    Jan, 2024