Oct, 2024

扩散模型需要视觉先验进行图像生成

HTML
PDF
TL;DR本研究解决了传统类引导扩散模型在细节纹理生成上的不足，指出依赖粗略的类先验信息限制了模型性能。提出的“扩散上的扩散”（DoD）框架通过从先前生成的样本中提取视觉先验，提供丰富的引导信息，显著降低训练成本，同时提升生成图像的质量和细节。研究结果表明，DoD-XL模型在有限的训练步骤下，获得的FID-50K评分显著优于其他最先进的方法。
发现论文，激发创造
  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级DMs对计算资源的需求。

    Dec, 2021

  • 扩散式生成模型设计空间的阐明

    我们提出了一种设计空间，清晰地分离具体的设计选择，从采样和训练过程以及得分网络的预处理中识别了几个变化。通过改进，我们以比之前的设计更快的采样速度（每张图像35个网络评估）在条件设置下获得了1.79 FID，无条件设置下获得了1.97 FID，达到了新的最先进水平。

    Jun, 2022

  • 视觉中的扩散模型：一项调研

    本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾，包括在领域中的理论和实际贡献，提供了三种通用扩散建模框架，并介绍了扩散模型与其他深度生成模型之间的关系，并引入了在计算机视觉中应用扩散模型的多个视角分类，最后，我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。

    Sep, 2022

  • SDXL：提高高分辨率图像合成的潜在扩散模型

    SDXL 是一种潜在扩散模型，用于文本到图像的合成，其使用更大的 UNet 骨干网络以及多重新颖的调制方式和改进模型，且其结果竞争力与黑箱最先进的图像生成器相比具有显著提高。

    Jul, 2023

  • 分类器引导扩散生成的设计空间阐明

    通过使用现成的预训练分类器在无需额外计算成本的情况下，提出了预处理技术来引导扩散生成，旨在实现比现有方案更显著的性能改进，尤其是在图像生成任务中。

    Oct, 2023

  • 大数据训练的扩散模型具有可迁移的视觉模型

    通过使用预训练的 UNet（或transformer）扩散模型仅需适量的目标数据（甚至只有合成数据），在基础视觉感知任务中能够实现出色的可传递性表现，包括单眼深度、表面法线、图像分割、抠图、人体姿势估计等。

    Mar, 2024

  • 即插即用扩散蒸馏

    我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的1％的可训练参数，同时还能维持生成图像的视觉逼真度。

    Jun, 2024

  • 低层视觉中的扩散模型：概述

    这篇综述论文全面地评估了扩散模型技术，并探讨了它们与其他深度生成模型的相关性，建立了理论基础。同时，该论文还总结了扩散模型在医学、遥感和视频等领域应用的情况，提供了常用基准和评估指标的概述，以及针对三个主要任务的扩散模型技术的全面评估。最后，作者指出当前扩散模型的局限性，并提出了未来研究的七个有趣方向。这篇综述论文旨在加深人们对于在低层次视觉任务中的去噪扩散模型领域的全面理解。

    Jun, 2024

  • 基于扩散模型的条件图像合成：综述

    本研究针对条件图像合成领域中的复杂性及多样性挑战，系统性地回顾了基于扩散的生成建模方法。通过对现有研究的分类，本论文揭示了多种条件机制在模型训练和采样过程中的应用，指出了关键问题与未来研究方向，助于研究者更好地理解和应对快速发展的条件图像合成技术。

    Sep, 2024

  • 基于扩散模型的条件图像合成：综述

    本研究针对条件图像合成的复杂性与快速发展的挑战，系统性地分类现有文献，探讨条件如何融入扩散模型的去噪网络和采样过程。研究的关键在于分析各种条件方法在训练及专业化阶段的原理和优缺点，并总结六种主流条件机制。该综述不仅为研究者提供了深入的理解，也指出了未来亟待解决的关键问题和潜在的解决方案。

    Sep, 2024