May, 2023

将 GAN 和基于分数扩散的生成粒子模型统一

PDF
TL;DR本文提出了一个将生成模型的训练视为粒子模型推广的新框架，将粒子模型和对抗生成模型统一起来，并在实际模型中进行了测试。
particle-based deep generative modelsgradient flowsscore-based diffusion modelsgenerative adversarial networkspushforward generator network
发现论文，激发创造
  • DiffFlow：基于评分扩散模型和生成对抗网络的统一 SDE 框架

    建议了一个统一理论框架，将基于得分的扩散模型和生成对抗网络合并起来，提出了一个名为 “鉴别器去噪扩散流” 的新 SDE，通过调整不同得分项之间的相对权重，可以在 SDMs 和 GANs 之间实现平滑转换，同时保持边际分布不变，提供了新的算法，并具有在高样本质量和快速采样速度之间实现灵活权衡的潜力。

    Jul, 2023

  • 扩散模型辅助监督学习用于密度估计的生成模型

    基于得分扩散模型的监督式学习框架用于训练生成模型，并通过生成标记数据解决了无监督训练中的问题，提高了采样效率和神经网络训练的时间节省。

    Oct, 2023

  • GANs 解决分数！

    本文提出了一种基于变分分析的生成对抗网络（GAN）的统一方法，讨论了在 $f$-divergence-minimizing GANs 和 IPM GANs 中的最优生成器，展示了基于分数匹配和流匹配的训练方法，以及判别器引导 Langevin 采样方法。

    Jun, 2023

  • 基于行动原理的生成扩散

    生成扩散模型通过将给定的数据集转化为通用噪声的扩散过程逆转来合成新样本，通过训练神经网络来匹配给定数据集的概率分布的对数梯度，同时将逆扩散视为最优控制问题，从而证明了得分匹配可以从动作原理派生出来，类似于物理学中常用的那些；我们利用这一观点来展示了不同类别的扩散模型之间的关系。

    Oct, 2023

  • 用于快速模拟 CERN 粒子碰撞的生成扩散模型

    利用扩散模型，我们首次使用模拟方法对 ALICE 实验中的 Zero Degree Calorimeter（ZDC）进行了模拟，与现有基线相比实现了最高保真度，结果表明潜在扩散模型具有快速生成时间的显著潜力。

    Jun, 2024

  • 评估扩散型生成模型的设计空间

    对于扩散模型的准确性进行了理论研究，通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析，并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合，明确了如何设计有效生成的训练和采样过程。

    Jun, 2024

  • GFlowNets 与更多模型的统一生成模型

    探讨了深度生成模型和 GFlowNet 框架之间的关系，从 Markovian 规划的角度提供了训练和推理算法统一的方式，并给出了实践验证的优化建议。

    Sep, 2022

  • 物理相关扩散模型

    通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。

    Mar, 2024

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021

  • 生成式扩散模型的理论研究综述

    生成扩散模型的理论发展主要分为两种方法，基于训练和基于采样，将这些方法明确分类为研究者未来进行新发展提供清晰可理解的方向。

    Apr, 2024