Nov, 2024

改进扩散模型的条件机制和预训练策略

HTML
PDF
TL;DR本研究针对现有扩散模型（LDMs）训练过程中的关键组件缺失问题，系统性地重新实现了五种已发表模型，旨在进行有效的比较及验证。我们提出了一种新的条件机制，能够更好地解耦语义信息和控制元数据，从而在ImageNet-1k和CC12M数据集上的图像生成任务中显著提高了模型性能。
发现论文，激发创造
  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级DMs对计算资源的需求。

    Dec, 2021

  • 利用扩散模型对输入噪声进行调控以进行可控图像生成

    通过给扩散模型输入精制的噪声来提高其控制性，从而可以产生基于语义属性的图像。

    May, 2022

  • 扩散式生成模型设计空间的阐明

    我们提出了一种设计空间，清晰地分离具体的设计选择，从采样和训练过程以及得分网络的预处理中识别了几个变化。通过改进，我们以比之前的设计更快的采样速度（每张图像35个网络评估）在条件设置下获得了1.79 FID，无条件设置下获得了1.97 FID，达到了新的最先进水平。

    Jun, 2022

  • 扩散模型生成的合成数据提升 ImageNet 分类准确性

    本研究使用大规模的文本到图像扩散模型对分类条件模型进行微调，进而在 ImageNet 分类准确性得分上实现了显著的提升，证明了利用自然图像模型进行生成数据增强的可行性。

    Apr, 2023

  • 分类器引导扩散生成的设计空间阐明

    通过使用现成的预训练分类器在无需额外计算成本的情况下，提出了预处理技术来引导扩散生成，旨在实现比现有方案更显著的性能改进，尤其是在图像生成任务中。

    Oct, 2023

  • CommonCanvas: 一个用Creative-Commons图像训练的开放扩散模型

    我们使用一种直观的迁移学习技术来生成一组与策划的创意共享图片相关的高质量合成标题，采用一种数据和计算高效的训练方法培训出高质量的文本到图片模型，并发布了这些模型、数据和代码。

    Oct, 2023

  • 可控生成的文本-图像扩散模型：一份综述

    在控制生成方面与文本到图像扩散模型的研究领域，通过调查文献并总结了控制性生成，包括基本概念和实践研究。

    Mar, 2024

  • 即插即用扩散蒸馏

    我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的1％的可训练参数，同时还能维持生成图像的视觉逼真度。

    Jun, 2024

  • 潜在扩散模型的像素空间后训练

    本文针对潜在扩散模型在生成高频细节和复杂构图方面的不足提出了一种解决方案，强调在后训练过程中引入像素空间监督。实验表明，这种新方法显著提升了生成图像的视觉质量和指标表现，同时保持了文本对齐的质量。

    Sep, 2024

  • 扩散模型需要视觉先验进行图像生成

    本研究解决了传统类引导扩散模型在细节纹理生成上的不足，指出依赖粗略的类先验信息限制了模型性能。提出的“扩散上的扩散”（DoD）框架通过从先前生成的样本中提取视觉先验，提供丰富的引导信息，显著降低训练成本，同时提升生成图像的质量和细节。研究结果表明，DoD-XL模型在有限的训练步骤下，获得的FID-50K评分显著优于其他最先进的方法。

    Oct, 2024