通过随机微分方程统一贝叶斯流网络和扩散模型

Apr, 2024

通过随机微分方程统一贝叶斯流网络和扩散模型

Unifying Bayesian Flow Networks and Diffusion Models through Stochastic Differential Equations

Kaiwen Xue, Yuhao Zhou, Shen Nie, Xu Min, Xiaolu Zhang...

TL;DR通过连接种植扩散模型（DMs）的随机微分方程（SDEs），本文旨在理解和增强贝叶斯流网络（BFNs），从而迭代地通过贝叶斯推理改进各种噪声水平下分布的参数。通过这些发现并结合 DMs 中快速采样的现有方法，我们为 BFNs 提出了一种专用求解器，在图像和文本数据集上用有限数量的函数评估（例如 10 次）大大超过了原始 BFN 采样器的样本质量。其中，我们最优采样器的速度提高了 5 到 20 倍，且免费提供代码。

Abstract

bayesian flow networks (BFNs) iteratively refine the parameters, instead of the samples in diffusion models (DMs), of distributions at various noise levels through Bayesian inference. Owing to its differentiable

bayesian flow networks diffusion models stochastic differential equations denoise score matching sample quality

发现论文，激发创造

贝叶斯流网络

该论文介绍了贝叶斯流网络（BFNs），这是一种新的生成模型，通过贝叶斯推理修改一组独立分布的参数，然后将其作为输入传递给神经网络，输出第二个相互依赖的分布。BFNs 在连续数据、离散化数据和离散数据等方面有效，并在图像建模和字符级语言建模任务中实现了有竞争力的对数似然值。

Aug, 2023

扩散正规流

本文介绍了基于随机微分方程的扩散归一化流生成建模新方法 —— 扩散归一化流算法。该算法使用两个神经 SDE：一个前向 SDE 和一个后向 SDE，通过联合训练两个神经 SDE，将后向 SDE 收敛于一种扩散过程，从而具备更好的高维数据密度估计和图像生成性能。

Oct, 2021

分数噪声驱动的随机微分方程的变分推断

在这篇论文中，我们提出了一种用于推断由 Markov - 近似分数布朗运动（fBM）驱动的（神经）随机微分方程（SDEs）的新颖变分框架。我们结合了 SDEs 和变分方法的强大推断能力，通过随机梯度下降学习代表性函数分布。此外，我们还提出了一种使用神经网络学习变分后验中的漂移、扩散和控制项的方法，从而实现了神经 - SDEs 的变分训练。我们还优化了 Hurst 指数，控制分数噪声的性质。最后，我们提出了一种用于变分潜在视频预测的新型架构。

Oct, 2023

定制非平稳求解器用于扩散和流动模型的快速采样

介绍了 Bespoke Non-Stationary (BNS) 求解器，一种求解器蒸馏方法，用于提高扩散和流动模型的样本效率。

Mar, 2024

基于贝叶斯流网络的三维分子统一生成建模

通过模拟分布参数空间中不同模态的可微参数依赖模型，GeoBFN 是一种局部变换不变密度建模方法，适用于分子几何生成任务，并且在多个三维分子生成基准测试中取得了最先进的性能。

Mar, 2024

DiffFlow：基于评分扩散模型和生成对抗网络的统一 SDE 框架

建议了一个统一理论框架，将基于得分的扩散模型和生成对抗网络合并起来，提出了一个名为 “鉴别器去噪扩散流” 的新 SDE，通过调整不同得分项之间的相对权重，可以在 SDMs 和 GANs 之间实现平滑转换，同时保持边际分布不变，提供了新的算法，并具有在高样本质量和快速采样速度之间实现灵活权衡的潜力。

Jul, 2023

逆向随机微分方程的基于得分的生成建模：反演和生成

该论文提出了基于 BSDE 的扩散模型，采用适应现有评分函数的方法，确定在达到所需终端分布所需的初始条件。研究表明，采用 Lipschitz 网络进行评分匹配具有优势，该方法具有应用于不同领域（如扩散反演、条件扩散和不确定性量化）的潜力。该工作对得分为基础的生成学习领域做出了贡献，并为解决实际问题提供了一个有前途的方向。

Apr, 2023

扩散模型的几何视角

本文研究扩散模型的采样动力学，通过挖掘它的几何结构，提出一种简单却强大的采样理论框架，并将扩散模型的优化与经典的均值偏移算法关联起来。

May, 2023

贝叶斯流网络在连续学习中的应用

贝叶斯流网络（BFNs）作为通用生成建模的最有前景的方向之一，能够学习任何数据类型。我们深入研究了 BFNs 的机制，并进行了实验证明它在非平稳数据上的生成能力。

Oct, 2023

应用于基于得分的生成建模的扩散薛定谔桥

通过将高斯噪声逐渐应用于复杂的数据分布，构建了一个确定性的生成模型，对应于具有时间不均匀漂移的倒退随机微分方程，用基于分数匹配的方法估计漂移。本文提出了 Diffusion SB 方法来处理 Schrödinger Bridge 问题，近似了迭代比例拟合过程，DSB 具有广泛的适用性，是流形上 Sinkhorn 算法的连续状态空间概率化推广。

Jun, 2021