Jul, 2019

通过估计数据分布梯度的方式进行生成建模

PDF
TL;DR本文介绍了一种新的生成模型，利用评分匹配来估计数据分布的梯度，通过 Langevin 动力学生成样本。我们的框架使得模型架构更加灵活，无需在训练期间进行抽样或使用对抗性方法，提供了可用于基于原则的模型比较的学习目标。在 MNIST、CelebA 和 CIFAR-10 数据集上，我们的模型产生的样本与 GAN 相当，实现了 CIFAR-10 inception 得分的新的最先进水平为 8.87。此外，我们通过图像修补实验证明了我们的模型学习到了有效的表示。
generative modellangevin dynamicsscore matchingannealed langevin dynamicsinception score
发现论文，激发创造
  • 基于得分的生成模型与自适应动量

    通过引入适应性动量采样，有效加速了转换过程，同时在小样本步骤中产生更加逼真的图像 / 图表，并在图像和图表生成任务中获得了有竞争力的评分。

    May, 2024

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021

  • 评估扩散型生成模型的设计空间

    对于扩散模型的准确性进行了理论研究，通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析，并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合，明确了如何设计有效生成的训练和采样过程。

    Jun, 2024

  • 对抗性得分匹配与改进抽样技术在图像生成中的应用

    本文提出了两种改进 Denosing Score Matching with Annealed Langevin Sampling（DSM-ALS）的技术：1）一致退火采样，作为比退火采样更稳定的替代方案，2）混合训练，由去噪分数匹配和对抗目标组成。通过这两种技术的结合，本文得到了与 CIFAR-10 图像生成的最新成果相当的结果。

    Sep, 2020

  • 使用扩散图进行稳定的生成建模

    我们提出了一个结合扩散映射和兰格朗日动力学的生成模型，通过扩散映射近似训练样本的漂移项，并在离散时间的兰格朗日采样器中实现，以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配，我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验，我们验证了我们提出的方案的性能。

    Jan, 2024

  • 扩散模型辅助监督学习用于密度估计的生成模型

    基于得分扩散模型的监督式学习框架用于训练生成模型，并通过生成标记数据解决了无监督训练中的问题，提高了采样效率和神经网络训练的时间节省。

    Oct, 2023

  • 一种适用于采样的实用扩散路径

    提出使用膨胀路径的简单实现 Langevin 动力学，通过自适应步长来引导扩张路径，以比传统方法更好地完成一系列任务的抽样方法。

    Jun, 2024

  • 基于分数的随机微分方程生成建模

    本文提出了一种基于随机微分方程的得分模型生成方法，通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布，并通过缓慢地消除噪声将先验分布转换回数据分布，同时利用基于神经网络的得分生成建模技术可以精确估计这些得分，并使用数值微分方程求解器生成样本。

    Nov, 2020

  • 生成建模中的评分不匹配

    我们提出了一个具有一步采样的基于分数的模型，通过训练一个独立的生成器，用从分数网络反向传播的梯度来压缩所有时间步骤，以产生对于生成器有意义的梯度，并使分数网络同时匹配真实数据分布和伪造数据分布，该模型具有采样快速、训练简单且免除了由一致性损失引起的不适定问题的优势，通过在 CIFAR-10 数据集上进行实验证明了该框架的潜力，并在 MINIST 和 LSUN 数据集上提供了更多示例。

    Sep, 2023

  • 基于神经网络的扩散模型分值估计：优化与泛化

    通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

    Jan, 2024