Apr, 2023

隐式生成建模的分数差流

PDF
TL;DR本研究提出了一种基于评分差异流的新方法，该方法通过最优降低 Kullback-Leibler 距离来将源分布向目标分布推进，该方法在处理生成建模三难题（高样本质量，模式覆盖和快速采样）时具有潜在的应用价值。
implicit generative modelingscore difference flowkullback-leibler divergencedynamical perturbationsgenerative adversarial networks
发现论文，激发创造
  • DiffFlow：基于评分扩散模型和生成对抗网络的统一 SDE 框架

    建议了一个统一理论框架，将基于得分的扩散模型和生成对抗网络合并起来，提出了一个名为 “鉴别器去噪扩散流” 的新 SDE，通过调整不同得分项之间的相对权重，可以在 SDMs 和 GANs 之间实现平滑转换，同时保持边际分布不变，提供了新的算法，并具有在高样本质量和快速采样速度之间实现灵活权衡的潜力。

    Jul, 2023

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021

  • 基于得分的生成模型的几何学

    该研究从几何角度探讨了基于得分模型的扩散生成模型，证明了加噪声和从噪声生成的正向和反向过程在概率测度空间中是 Wasserstein 梯度流。同时给出了附加传统得分模型的投影步骤的直观几何解决方案，提出了减少采样时间的方法。

    Feb, 2023

  • 基于分数的随机微分方程生成建模

    本文提出了一种基于随机微分方程的得分模型生成方法，通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布，并通过缓慢地消除噪声将先验分布转换回数据分布，同时利用基于神经网络的得分生成建模技术可以精确估计这些得分，并使用数值微分方程求解器生成样本。

    Nov, 2020

  • 基于得分扩散模型的生成过程优化与鉴别器指导

    本研究引入了一个新的生成 SDE 模型，采用辅助鉴别器进行得分调整，通过训练鉴别器来估计预训练得分估计和真实数据得分之间的差距，进而进行调整。实验结果显示，该方法在无条件 / 有条件的 CIFAR-10 上实现了新的 SOTA FIDs 1.77/1.64，以及 ImageNet 256x256 上的新的 SOTA FID /sFID 3.18 / 4.53。

    Nov, 2022

  • 通过重新参数化的 DDIM 进行分数蒸馏

    通过修改 DDIM，我们的方法在 3D 生成中消除了过度平滑，保留了高频细节，并使生成质量接近于 2D 采样器，从而取得了与其他先进的分数蒸馏方法相当或更好的 3D 生成质量，而无需训练额外的神经网络或多视图监督，并为扩散模型中 2D 和 3D 资源生成之间的关系提供有用的见解。

    May, 2024

  • 流匹配方法的误差界

    本文提出了一种使用完全确定性采样的流匹配过程，该过程利用概率流 ODE 方法和去噪扩散隐式模型，为基于 ODE 的生成模型提供了误差界限。

    May, 2023

  • GANs 解决分数！

    本文提出了一种基于变分分析的生成对抗网络（GAN）的统一方法，讨论了在 $f$-divergence-minimizing GANs 和 IPM GANs 中的最优生成器，展示了基于分数匹配和流匹配的训练方法，以及判别器引导 Langevin 采样方法。

    Jun, 2023

  • 闭合式扩散模型

    通过对闭式评分函数进行平滑处理，我们提出了一种无须训练即可生成新样本的 SGM 模型，并提出了一种高效的基于最近邻的评分函数估计器，使得我们的方法在使用消费级 CPU 运行时具有与神经 SGMs 相竞争的采样速度。

    Oct, 2023

  • 通过判别器梯度流完善深度生成模型

    通过熵正则化的 f - 散度梯度流技术，可以提高生成数据的质量，避免了浪费的样本拒绝，可以应用于各种生成系统，并取得了显著的效果优于 DOT 和 DDLS 方法。

    Dec, 2020