Sep, 2023

具有确定性归一化流先验的扩散模型

PDF
TL;DR通过使用正则化流和扩散模型，我们提出了 DiNof 技术，以实现更快的采样和更高的样本质量。我们利用正则化流对扩散过程中任意步骤的嘈杂数据进行参数化，并将其用作逆向扩散过程的先验。通过减少总扩散步骤的数量，我们能够加快正向和反向过程，并通过使用确定性和随机映射的方法提高扩散模型的表达能力。实验证明，我们的方法在标准图像生成数据集上具有优势，并在无条件的 CIFAR10 数据集上实现了 FID 为 2.01 和 Inception 得分为 9.96 的表现。
发现论文，激发创造
  • 扩散正规流

    本文介绍了基于随机微分方程的扩散归一化流生成建模新方法 —— 扩散归一化流算法。该算法使用两个神经 SDE：一个前向 SDE 和一个后向 SDE，通过联合训练两个神经 SDE，将后向 SDE 收敛于一种扩散过程，从而具备更好的高维数据密度估计和图像生成性能。

    Oct, 2021

  • 基于流噪声模型的反问题求解

    该研究利用归一化流先验研究了图像反问题，将解视为基于测量的图像后验概率最大化估计，通过噪声模型和非线性正演算子验证了该方法在各种反问题中的有效性，并初步解决了带有流先验的反问题的理论恢复保证问题。

    Mar, 2020

  • 释放扩散先验的去噪能力以解决逆问题

    通过引入辅助优化变量，利用扩散过程重新定义嘈杂的反问题为受约束的双变量优化任务，该算法称为 ProjDiff，有效地利用了预训练扩散模型的先验信息和降噪能力。在各种线性和非线性反问题中，ProjDiff 在图像恢复任务、信源分离和部分生成任务方面展现出卓越的性能，凸显其在实际应用中的潜力。

    Jun, 2024

  • 噪声流：带条件的标准化流噪声建模

    介绍了基于 normalizing flow 的强大而精确的噪声模型 Noise Flow，结合了基本参数噪声模型和神经网络的灵活性和表现力。与已有的噪声模型相比，Noise Flow 具有显著的改进，是第一次试图超越简单的参数模型，利用深度学习和数据驱动的噪声分布来建模和综合图像噪声。

    Aug, 2019

  • 扩散模型作为即插即用先验

    该论文探讨了在先验概率和一个基于 $x$ 和 $y$ 的不等式约束条件下利用高维数据推断潜在结果。通过使用一个独立训练的去噪扩散生成模型和不同的不等式约束，该方法能应用于各种不同领域的任务，例如条件生成、图像分割以及求解组合优化问题等。

    Jun, 2022

  • 离散去噪流

    本研究提出了离散去噪流模型（Discrete Denoising Flows, DDFs），用于建模离散的随机变量，并证明在对数似然度量中，在建模玩具示例，二进制 MNIST 和 Cityscapes 分割地图方面，DDFs 优于 Discrete Flows。

    Jul, 2021

  • 深度形变正则化流

    DDNF 模型是一种基于普通微分方程 (ODE) 和递归神经网络 (RNN) 的正则差分流模型，具有高效的似然度评估和柔性的密度估计能力， 是一种具有竞争力的新型神经密度估计技术，还可以在 Riemannian 半群中扩展。

    Oct, 2018

  • 去噪扩散概率模型

    本文使用受非平衡热力学考虑的潜变量模型 —— 扩散概率模型，提出了高质量的图像合成结果。通过根据扩散概率模型和 Langevin 动力学的去噪得分匹配之间的新颖联系设计加权变分界限进行训练，获得了最佳结果；此外，我们的模型自然地采用渐进式有损解压缩方案，可以解释为自回归解码的一般化。在无条件的 CIFAR10 数据集上，我们获得了 9.46 的 Inception 得分和 3.17 的最先进的 FID 得分。在 256x256 LSUN 上，我们获得了与 ProgressiveGAN 相似的样本质量。

    Jun, 2020

  • 扩散模型求解逆问题的变分视角

    本文提出一种基于变分法的正则化方法 RED-Diff 来解决扩散模型后验分布不可计算的问题，通过在不同时间步引入不同的去噪器来实现对图像结构的约束，进而提高扩散模型在图像修复等领域的应用性能。

    May, 2023

  • PINF：用于物理约束深度学习的连续归一化流

    本文介绍了基于物理信息的归一化流（PINF），它是连续归一化流的一种新方法，通过特征方法结合扩散，能高效解决高维时间依赖和稳态福克 - 普朗克方程。

    Sep, 2023