ICLRSep, 2023
软混合去噪：超越扩散模型的表达瓶颈
Soft Mixture Denoising: Beyond the Expressive Bottleneck of Diffusion Models
Yangming Li, Boris van Breugel, Mihaela van der Schaar
TL;DR扩散模型在图像合成等任务中表现出色，但是我们发现当前的扩散模型在反向去噪和现有理论保证过程中存在表达瓶颈和过强的假设，导致局部去噪和全局逼近存在无界误差。基于我们的理论研究，我们提出了一种简单高效的反向去噪模型 —— 软混合去噪（SMD），它不仅在理论上允许扩散模型良好逼近任意高斯混合分布，而且在实现上具备简单高效的特点。我们在多个图像数据集上的实验证明，SMD 显著改进了各种类型的扩散模型（例如 DDPM），特别是在少量反向迭代的情况下。