在扩散概率模型中估算带有不完美均值的最优协方差

ICMLJun, 2022

在扩散概率模型中估算带有不完美均值的最优协方差

Estimating the Optimal Covariance with Imperfect Mean in Diffusion Probabilistic Models

Fan Bao, Chongxuan Li, Jiacheng Sun, Jun Zhu, Bo Zhang

TL;DR本文探讨了通过采用对角线和全方差提高 DPM 模型的表现力，同时基于函数噪声的条件期望估计提出了一种最优协方差和其校正的方法，并通过两阶段训练过程进行了实现以提高效率。通过实验表明，我们的方法在可能性结果上优于各种协方差设计，并在少量时间步长上提高了样本质量。

Abstract

diffusion probabilistic models (DPMs) are a class of powerful deep generative models (DGMs). Despite their success, the iterative generation process over the full timesteps is much less efficient than other DGMs such as GANs. Thus, the generation performance on a subset of timesteps is

diffusion probabilistic models deep generative models covariance design conditional expectations two-stage training process

发现论文，激发创造

具有最优协方差匹配的扩散模型

本文通过使用最近提出的全协方差矩匹配技术，引入了一种学习协方差的新方法，以显著提高采样效率，并展示了该方法如何有效地增强马尔科夫和非马尔科夫扩散模型家族的采样效率。

Jun, 2024

扩散概率模型的渐进均方误差最优性

该研究论文通过严格证明特定 DPM 去噪策略在大量扩散步骤中收敛于均方误差最优条件均值估计器，为 DPMs 的理论理解做出了创新的贡献，并通过数值结果验证了理论发现。

Mar, 2024

用 Lookahead Diffusion 概率模型改进均值估计

本研究提出一种基于深度神经网络和先行扩散概率模型的方法，通过在反向过程中的外推方法进行修正，提高了条件高斯分布均值的估计精度，进而提高了 FID 得分。

Apr, 2023

扩散模型的推断稳定性

提出了一种新的序列感知损失函数，以减小估计误差从而提高采样质量，并通过实验证明了该方法相比于传统损失函数在图像泛化质量方面的显著改进。

Dec, 2023

Analytic-DPM: 扩散概率模型中最优反变差的解析估计

本文提出 Analytic-DPM，一种基于 Monte Carlo 方法和预先训练好的基于 score 的模型的无需训练的推断框架，通过计算反向过程中每个时间步长的方差和 KL 散度的优化解的解析形式，从而改善不同 DPM 的 log-likelihood，并实现快速推理。

Jan, 2022

六个简单步骤的去噪扩散概率模型

通过六个简单步骤清晰陈述，简化并阐明噪声扩散概率模型（DDPM）的构建及其工作原理。

Feb, 2024

ClusterDDPM：一种带有去噪扩散概率模型的 EM 聚类框架

利用新型的去噪扩散概率模型（DDPMs）引入创新的期望最大化（EM）框架进行聚类，通过优化学习聚类友好的潜在表示，有效地提高了聚类、无监督条件生成和潜在表示学习的性能。

Dec, 2023

离散状态空间中的结构去噪扩散模型

本文提出了离散去噪扩散概率模型（D3PM），用于离散数据的扩散式生成模型，包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要，且提出的新损失函数在字符级别文本生成上取得了很好的效果。

Jul, 2021

改进降噪扩散概率模型

通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

Feb, 2021

利用最优后验协方差提高逆问题的扩散模型

最新的扩散模型为嘈杂的线性反问题提供了一种无需为特定反问题重新训练的有希望的零样本解决方案。本文首次从条件抽样的逆扩散过程的条件后验均值的近似角度解释了现有的零照片方法。我们揭示了最新方法相当于对给定扩散嘈杂图像的干净图像的不可行后验分布进行各向同性高斯近似，唯一的不同在于各向同性后验协方差的手工设计。受此发现的启发，我们提出了一种基于最大似然估计的通用即插即用后验协方差优化方法，以改善最新方法。为了实现无需重新训练的最优后验协方差，我们提供了基于两种方法的通用解决方案，这两种方法专门设计用于利用具有和不具有逆协方差的预训练模型。实验结果表明，所提出的方法显著提高了最新方法的整体性能或对超参数的鲁棒性。可在此链接获取代码。

Feb, 2024