DiffFlow：基于评分扩散模型和生成对抗网络的统一 SDE 框架

Jul, 2023

DiffFlow：基于评分扩散模型和生成对抗网络的统一 SDE 框架

DiffFlow: A Unified SDE Framework for Score-Based Diffusion Models and Generative Adversarial Networks

Jingwei Zhang, Han Shi, Jincheng Yu, Enze Xie, Zhenguo Li

TL;DR建议了一个统一理论框架，将基于得分的扩散模型和生成对抗网络合并起来，提出了一个名为 “鉴别器去噪扩散流” 的新 SDE，通过调整不同得分项之间的相对权重，可以在 SDMs 和 GANs 之间实现平滑转换，同时保持边际分布不变，提供了新的算法，并具有在高样本质量和快速采样速度之间实现灵活权衡的潜力。

Abstract

generative models can be categorized into two types: explicit generative models that define explicit density forms and allow exact likelihood inference, such as score-based diffusion models (SDMs) and

generative models score-based diffusion models normalizing flows generative adversarial nets discriminator denoising diffusion flow

发现论文，激发创造

隐式生成建模的分数差流

本研究提出了一种基于评分差异流的新方法，该方法通过最优降低 Kullback-Leibler 距离来将源分布向目标分布推进，该方法在处理生成建模三难题（高样本质量，模式覆盖和快速采样）时具有潜在的应用价值。

Apr, 2023

扩散正规流

本文介绍了基于随机微分方程的扩散归一化流生成建模新方法 —— 扩散归一化流算法。该算法使用两个神经 SDE：一个前向 SDE 和一个后向 SDE，通过联合训练两个神经 SDE，将后向 SDE 收敛于一种扩散过程，从而具备更好的高维数据密度估计和图像生成性能。

Oct, 2021

扩散模型辅助监督学习用于密度估计的生成模型

基于得分扩散模型的监督式学习框架用于训练生成模型，并通过生成标记数据解决了无监督训练中的问题，提高了采样效率和神经网络训练的时间节省。

Oct, 2023

一种灵活的扩散模型

本研究提出了一个通用的模型参数化框架，尤其是针对前向 SDE 的空间部分，通过理论保障和实验证明了其优越性。

Jun, 2022

通过判别器梯度流完善深度生成模型

通过熵正则化的 f - 散度梯度流技术，可以提高生成数据的质量，避免了浪费的样本拒绝，可以应用于各种生成系统，并取得了显著的效果优于 DOT 和 DDLS 方法。

Dec, 2020

将 GAN 和基于分数扩散的生成粒子模型统一

本文提出了一个将生成模型的训练视为粒子模型推广的新框架，将粒子模型和对抗生成模型统一起来，并在实际模型中进行了测试。

May, 2023

基于得分扩散模型的生成过程优化与鉴别器指导

本研究引入了一个新的生成 SDE 模型，采用辅助鉴别器进行得分调整，通过训练鉴别器来估计预训练得分估计和真实数据得分之间的差距，进而进行调整。实验结果显示，该方法在无条件 / 有条件的 CIFAR-10 上实现了新的 SOTA FIDs 1.77/1.64，以及 ImageNet 256x256 上的新的 SOTA FID /sFID 3.18 / 4.53。

Nov, 2022

半隐式去噪扩散模型（SIDDM）

通过匹配隐式和显式因素，我们提出了一种新的方法，以解决生成模型中的采样难题，该方法利用隐式模型匹配噪声数据的边缘分布和前向扩散的显式条件分布，以有效地匹配联合降噪分布，并获得与扩散模型相当的生成性能和比采样步骤少的模型相比更好的结果。

Jun, 2023

高斯分布的扩散模型：确切解和 Wasserstein 误差

本文研究了扩散模型以及它们在数据分布为高斯分布时的数值实现，通过精确表达不同的 Wasserstein 误差，从而比较每种误差类型对任何采样方案的影响，直接在数据空间中监测收敛性，实验证明扩散模型文献中推荐的数值方案也是适用于高斯分布的最佳采样方案。

May, 2024

基于扩散生成模型与评分匹配的变分视角

本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

Jun, 2021