Feb, 2024

具有状态空间支撑的可扩展扩散模型

PDF
TL;DR本文介绍了基于状态空间架构构建扩散模型的新探索，通过训练扩散模型用于图像数据，使用状态空间骨干替代传统的 U-Net 骨干，处理原始补丁或潜在空间的图像。通过对 DiS 的评估，包括无条件和类条件的图像生成场景，发现 DiS 在与同等大小的基于 CNN 或变压器的 U-Net 架构相比具有可比甚至更好的性能。此外，我们还分析了 DiS 的可扩展性，通过 Gflops 量化前向传递复杂性进行评估。通过增加深度 / 宽度或增加输入令牌的方式获得更高 Gflops 的 DiS 模型，始终表现出更低的 FID。在潜在空间中，DiS-H/2 模型在 256x256 和 512x512 分辨率下，达到了类条件 ImageNet 基准的性能水平，并显著减轻了计算负担。
diffusion modelsstate space architecturedisimage generationscalability
发现论文，激发创造
  • 可扩展的 Transformer 扩散模型

    本文提出了基于 Transformer 的扩散模型。将常用的 U-Net 骨干网络替换为在潜在块上操作的 Transformer，通过 Gflops 度量前向传递复杂度分析 DiT 的可伸缩性，并证明了高 Gflops DiT-XL/2 模型在 ImageNet 512x512 和 256x256 基准测试中均优于以前的扩散模型，后者在 256x256 基准测试上实现了先进的 FID (2.27)。

    Dec, 2022

  • 无注意力的扩散模型

    高分辨率图像生成中的噪声扩散概率模型（DDPM）是研究的关键，通过引入扩散状态空间模型（DiffuSSM）架构来处理高分辨率图像的生成和表示，从而显著降低计算复杂度，并展示了与使用注意力模块的扩散模型相媲美甚至优于的生成图像质量和计算效率。

    Nov, 2023

  • DiM: 高效高分辨率图像合成的扩散灰曼巴

    提出了一种结合了 Mamba 和扩散模型的高效高分辨率图像合成方法 DiM，使用 ``weak-to-strong'' 训练策略和无需进一步微调的上采样策略提高训练和推理效率。

    May, 2024

  • 黑化扩散：离散空间生成扩散模型

    研究了离散状态下的 Markov 过程以及其反向扩散，提出了命名为 'Blackout Diffusion' 的新的方案，可以从空图像而不是噪声中产生样本，从特定前向过程到离散态过程的泛化可以帮助解释扩散模型。

    May, 2023

  • SDXS：带图像条件的实时单步潜变扩散模型

    通过模型微型化、减少采样步骤和知识蒸馏的双重方法，减小模型延迟，本研究提出了一种在图像生成领域优化扩散模型性能的方法。通过简化 U-Net 和图像解码器的结构并引入一步式 DM 训练技术，利用特征匹配和得分蒸馏，我们实现了两个模型 SDXS-512 和 SDXS-1024，在单个 GPU 上实现了约 100 帧每秒（比 SD v1.5 快 30 倍）和 30 帧每秒（比 SDXL 快 60 倍）的推理速度。此外，我们的训练方法还在图像条件控制方面具有潜在的应用，可以实现高效的图像转换。

    Mar, 2024

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 扩散模型对抗生成网络 (GANs) 在图像合成方面占优

    通过扩散模型和分类器引导，我们的图像合成方法在 FID 指标以及覆盖分布方面优于现有的生成模型，我们的代码开源。

    May, 2021

  • 扩散式生成模型设计空间的阐明

    我们提出了一种设计空间，清晰地分离具体的设计选择，从采样和训练过程以及得分网络的预处理中识别了几个变化。通过改进，我们以比之前的设计更快的采样速度（每张图像 35 个网络评估）在条件设置下获得了 1.79 FID，无条件设置下获得了 1.97 FID，达到了新的最先进水平。

    Jun, 2022

  • 离散状态空间中的结构去噪扩散模型

    本文提出了离散去噪扩散概率模型（D3PM），用于离散数据的扩散式生成模型，包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要，且提出的新损失函数在字符级别文本生成上取得了很好的效果。

    Jul, 2021

  • 使用双向 SSM 扩展 Diffusion Mamba 以实现高效图像和视频生成

    Diffusion Mamba (DiM) is a novel architecture that effectively addresses the computational complexity of traditional diffusion transformers (DiT) in image generation tasks while maintaining linear complexity with respect to sequence length, outperforming existing techniques and establishing a new benchmark for generative models.

    May, 2024