Sep, 2024

扩散模型通过子空间聚类学习低维分布

HTML
PDF
TL;DR本研究解决了扩散模型在面对高维图像数据时，如何有效学习其低维分布的问题。通过假设图像数据呈现低秩高斯混合分布，并将去噪自编码器参数化为低秩模型，研究表明优化扩散模型的训练损失与解决经典子空间聚类问题等价。这一发现揭示了扩散模型如何突破维度诅咒，并展现出在学习分布时的相变特性，从而为图像编辑提供了新的视角。
发现论文，激发创造
  • 使用扩散模型从低密度区域生成高保真数据

    我们使用扩散过程生成模型解决了常见图像数据集中低密度区域的样本稀缺问题，通过修改采样过程使其指向低密度区域并同时保持合成数据的逼真度，经过严谨的验证，我们的方法成功地生成了低密度区域的新的高保真度样本。

    Mar, 2022

  • 子空间扩散生成模型

    通过在噪声映射运行限制后的高维扩散过程，实现基于评分模型生成高质量样本且减少计算量的方法。

    May, 2022

  • 视觉中的扩散模型：一项调研

    本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾，包括在领域中的理论和实际贡献，提供了三种通用扩散建模框架，并介绍了扩散模型与其他深度生成模型之间的关系，并引入了在计算机视觉中应用扩散模型的多个视角分类，最后，我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。

    Sep, 2022

  • 图像嵌入用于去噪生成模型

    本文探讨了如何在Denoising Diffusion Models的latent space中嵌入图像，实现对噪声图像的去噪，并发现了该类生成模型中latent representation独立于反扩散过程网络实现的网络结构。

    Dec, 2022

  • 使用扩散模型进行未见图像合成

    通过使用预训练和冻结的去噪扩散概率模型 (DDPM) 来逆向编码并优化隐藏域，从未见过的域图像合成，证明了这种新颖视角探索和重新思考扩散模型的数据合成广义能力的有效性。

    Oct, 2023

  • 分类扩散模型

    这项研究提出了基于Classification Diffusion Models（CDMs）的生成技术，通过采用去噪扩散模型（DDMs）的形式来训练模型并使用分类器预测添加到干净信号中的噪音量，实现了更好的去噪效果以及与图像生成中的最佳结果相媲美的生成效果。该技术还能够实现高效的一步准确似然估计，是在只使用一步的方法中取得了最先进的结果。

    Feb, 2024

  • 使用扩散模型学习高斯混合模型

    给出了一个新的学习高斯混合模型的算法，其目标是通过扩散模型中的得分函数以及多项式回归来高效学习混合高斯分布，对于具有最小权重假设的情况下，计算出来的误差和时间复杂度具有准多项式级别的优势，并扩展到具有支持在常数半径范围内的多个球的混合高斯的情况。

    Apr, 2024

  • 在基于评分扩散模型中适应未知的低维结构

    本研究通过设计独特的系数，首次理论证明了去噪扩散概率模型可以适应目标分布中未知的低维结构，凸显了系数设计的重要性。

    May, 2024

  • 低层视觉中的扩散模型：概述

    这篇综述论文全面地评估了扩散模型技术，并探讨了它们与其他深度生成模型的相关性，建立了理论基础。同时，该论文还总结了扩散模型在医学、遥感和视频等领域应用的情况，提供了常用基准和评估指标的概述，以及针对三个主要任务的扩散模型技术的全面评估。最后，作者指出当前扩散模型的局限性，并提出了未来研究的七个有趣方向。这篇综述论文旨在加深人们对于在低层次视觉任务中的去噪扩散模型领域的全面理解。

    Jun, 2024

  • 扩散模型分离潜变空间的等距表示学习

    使用等距扩散进行几何规则化，使扩散模型学习到一个几何上完整的训练数据流形的潜空间，实现了更加解耦的潜空间、更平滑的插值、更准确的反演以及对潜空间中属性的更精确控制。

    Jul, 2024