Jan, 2024

基于高斯混合模型和负高斯混合梯度的扩散模型

PDF
TL;DR利用高斯混合模型作为特征条件引导去噪过程，构建了一种基于高斯混合模型的条件机制，证明了该条件机制在特征上的条件潜在分布相较于类别上的条件潜在分布产生较少的缺陷生成，通过两种基于高斯混合模型的扩散模型的实验结果支持上述发现，并提出负高斯混合梯度作为一种新的梯度函数，通过额外分类器在扩散模型训练中应用，提高了训练稳定性，并从理论上证明了负高斯混合梯度和地球移动距离（Wasserstein 距离）在学习由低维流形支持的分布时具有相同的优势作为一种更合理的代价函数。
diffusion modelsgenerative modelconditional latent distributiongaussian mixture modelsnegative gaussian mixture gradient
发现论文，激发创造
  • 通过奖励引导探索实现可控扩散模型

    本文提出了一种名为 RGDM 的模型，通过强化学习（RL）引导扩散模型的训练阶段，从而实现对样本生成的控制。在 3D 形状和分子生成任务上的实验表明，该模型相较于现有的条件扩散模型具有显著的改进。

    Apr, 2023

  • 利用扩散模型对输入噪声进行调控以进行可控图像生成

    通过给扩散模型输入精制的噪声来提高其控制性，从而可以产生基于语义属性的图像。

    May, 2022

  • 具有位置 - 尺度噪声的扩散模型

    通过研究了不同的噪声分布（高斯分布和非高斯分布），我们发现扩散模型中高斯分布的噪声可以最好地用于生成数据，因此我们可以使用与非高斯噪声相关的扩散过程来确定噪声分布的选择。

    Apr, 2023

  • 基于观测引导的扩散概率模型

    我们提出了一种新颖的扩散模型，称为观测引导扩散概率模型 (OGDM)，它有效地解决了质量控制和快速采样之间的权衡问题。

    Oct, 2023

  • CCDM：连续条件扩散模型用于图像生成

    连续条件生成建模（CCGM）是一种基于标量连续变量（称为回归标签）的高维数据（通常为图像）的分布估计方法。现有的条件扩散模型（CDMs）在应用于 CCGM 任务时面临着多种挑战，本文介绍了第一种专为 CCGM 任务设计的连续条件扩散模型（CCDMs），通过引入特别设计的条件扩散过程、修改的去噪 U-Net 与自定义的条件机制、新型的硬邻近损失以及高效的条件采样过程，CCDMs 克服了现有 CDMs 的限制，基于四个不同分辨率（从 64x64 到 192x192）的数据集进行的全面实验证明了 CCDMs 相对于最先进的 CCGM 模型的优越性，建立了 CCGM 领域的新基准。广泛的消融研究验证了提出的 CCDM 的模型设计和实施配置。我们的代码公开在此 https URL。

    May, 2024

  • 利用有损扩散模型增强图像布局控制

    扩散模型为一种强大的生成模型，能够从纯噪声中生成高质量的图像。条件扩散模型通过简单的文本提示能够指定所需图像的内容，然而，仅仅基于文本提示无法对最终图像的构成和布局进行细致的控制，而这取决于初始噪声分布。本文探讨了两种改进方法，并演示了当这两种方法结合使用时可以获得更好的性能。

    May, 2024

  • 无对抗训练的深度最大均值差梯度流

    我们提出了一种梯度流程用于生成建模，通过将粒子从初始源分布传输到目标分布，其中粒子上的梯度场由噪声自适应最大均值差异 (MMD) 的梯度给出。我们称该方法为扩散 - MMD - 梯度流或 DMMD。该方法不需要对抗性训练，而与生成对抗网络 (GAN) 中的判别器训练相关。我们在 CIFAR10、MNIST、CELEB-A (64 x64) 和 LSUN Church (64 x 64) 的无条件图像生成中获得了具有竞争力的实证性能，并在 MMD 被 KL 散度的下界替代时证明了该方法的有效性。

    May, 2024

  • 分类扩散模型

    这项研究提出了基于 Classification Diffusion Models（CDMs）的生成技术，通过采用去噪扩散模型（DDMs）的形式来训练模型并使用分类器预测添加到干净信号中的噪音量，实现了更好的去噪效果以及与图像生成中的最佳结果相媲美的生成效果。该技术还能够实现高效的一步准确似然估计，是在只使用一步的方法中取得了最先进的结果。

    Feb, 2024

  • 扩散高斯混合音频降噪

    提出了一种 DiffGMM 模型，它是基于扩散和高斯混合模型的去噪模型。通过反向过程估计高斯混合模型的参数，从而近似真实噪声分布，并通过连续减去估计的噪声来输出清晰的音频信号。广泛的实验结果表明，所提出的 DiffGMM 模型达到了最先进的性能。

    Jun, 2024

  • 多条件扩散引导下的反向分子设计

    逆向分子设计的多条件扩散模型与转换器编码去噪模型相结合，成功实现了高性能材料和药物发现，并在聚合物和小分子生成任务中展示了优越的分布学习和条件控制表现。

    Jan, 2024