ICLRJan, 2022

Analytic-DPM: 扩散概率模型中最优反变差的解析估计

PDF
TL;DR本文提出 Analytic-DPM，一种基于 Monte Carlo 方法和预先训练好的基于 score 的模型的无需训练的推断框架，通过计算反向过程中每个时间步长的方差和 KL 散度的优化解的解析形式，从而改善不同 DPM 的 log-likelihood，并实现快速推理。
diffusion probabilistic modelsinferenceanalytic formsmonte carlo methodscore-based model
发现论文，激发创造
  • 在扩散概率模型中估算带有不完美均值的最优协方差

    本文探讨了通过采用对角线和全方差提高 DPM 模型的表现力，同时基于函数噪声的条件期望估计提出了一种最优协方差和其校正的方法，并通过两阶段训练过程进行了实现以提高效率。通过实验表明，我们的方法在可能性结果上优于各种协方差设计，并在少量时间步长上提高了样本质量。

    Jun, 2022

  • 改进降噪扩散概率模型

    通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

    Feb, 2021

  • 扩散概率模型的渐进均方误差最优性

    该研究论文通过严格证明特定 DPM 去噪策略在大量扩散步骤中收敛于均方误差最优条件均值估计器，为 DPMs 的理论理解做出了创新的贡献，并通过数值结果验证了理论发现。

    Mar, 2024

  • 收缩扩散概率模型

    扩散概率模型（DPM）是生成模型中一种有前途的技术，在时间反转的马尔科夫扩散过程和得分匹配的基础上取得成功。然而，鉴于得分匹配可能存在问题，我们提出了一种新的设计 DPMs 的准则 —— 反向采样的压缩，从而构建了一类新型的压缩 DPMs（CDPMs）。该方法通过在反向过程中进行压缩，减小了得分匹配错误和离散化误差，使得 CDPMs 在错误源方面具有鲁棒性。理论结果和实验证实了我们的提议，值得注意的是，在 CIFAR-10 数据集上，压缩子变差保持（sub-VP）表现最好。

    Jan, 2024

  • ClusterDDPM：一种带有去噪扩散概率模型的 EM 聚类框架

    利用新型的去噪扩散概率模型（DDPMs）引入创新的期望最大化（EM）框架进行聚类，通过优化学习聚类友好的潜在表示，有效地提高了聚类、无监督条件生成和潜在表示学习的性能。

    Dec, 2023

  • 扩散模型的推断稳定性

    提出了一种新的序列感知损失函数，以减小估计误差从而提高采样质量，并通过实验证明了该方法相比于传统损失函数在图像泛化质量方面的显著改进。

    Dec, 2023

  • 六个简单步骤的去噪扩散概率模型

    通过六个简单步骤清晰陈述，简化并阐明噪声扩散概率模型（DDPM）的构建及其工作原理。

    Feb, 2024

  • DPM-OT：一种基于最优传输的新扩散概率模型

    通过创新性地将逆扩散视为不同阶段的潜变量之间的最优传输（OT）问题，提出了 DPM-OT，一种用于快速 DPM 的统一学习框架，通过 OT 映射表示直接快速生成高质量样本，具有约 10 个函数评估内的优秀表现。大量实验证实了 DPM-OT 在速度和质量（FID 和模式混合）方面的有效性和优势，因此为生成建模提供了高效的解决方案。

    Jul, 2023

  • 高效学习从扩散概率模型中采样

    提出了一种动态规划算法，基于 ELBO 分解原理，可用于任何预先训练的 DDPM，通过优化推理时间表来发现最优的离散时间表，从而实现生成速度与样本质量之间的平衡。

    Jun, 2021

  • 关于扩散建模用于异常检测

    该研究探讨了扩散模型在无监督和半监督异常检测中的应用，并在相应的基准测试中表现出了出色的性能，特别是在 DTPM 中，使用深度神经网络提高推断效率，获得了比 DDPM 更快的推理时间和更好的性能。

    May, 2023