Apr, 2023

Patch Diffusion：扩散模型的更快、更省数据训练

PDF
TL;DR提出了一种名为 Patch Diffusion 的通用 Patch-wise 训练框架，其核心创新是新的条件分数函数，它在原始图像的 Patch 级别包括 Patch 位置作为附加坐标通道，并且通过训练在多个尺度上对 Patch 大小进行随机和多样化，从而达到显著减少训练时间成本同时提高数据效率以帮助更广泛的用户学习扩散模型。
diffusion modelspatch diffusiontraining frameworkdata efficiencyconditional score function
发现论文，激发创造
  • 基于块状生成的记忆高效扩散概率模型

    本文提出了一种将扩散概率模型分成块进行图像生成的方法，使用一种称为 Global Content Conditioning 的条件方法，可在减少内存消耗 50％的情况下保持图像质量相当的质量。

    Apr, 2023

  • CutDiffusion: 一个简单、快速、廉价且强大的扩散外推方法

    以简单、快速的扩散外推过程为目标，我们提出了无需调优的 CutDiffusion 方法，通过修剪标准的扩散过程，将其划分为综合结构去噪的初始阶段和专注于具体细节修饰的后续阶段，从而提高了扩散适应性，同时降低时间和成本开销。

    Apr, 2024

  • 针对高分辨率图像合成的修复去噪扩散模型

    我们提出了一种有效的去噪扩散模型，用于生成高分辨率图像 (例如 1024x512)，该模型是在小尺寸图像块 (例如 64x64) 上训练的。我们的算法名为 Patch-DM，其中设计了一种新的特征拼贴策略，以避免合成大尺寸图像时的边界伪影。通过特征拼贴，我们可以系统地裁剪并组合相邻图像块的部分特征来预测移位图像块的特征，从而在图像块特征空间中的重叠区域中实现整个图像的无缝生成。Patch-DM 在我们新收集的自然图像数据集 (1024x512) 以及标准基准较小尺寸 (256x256) 上产生了高质量的图像合成结果，包括 LSUN-Bedroom、LSUN-Church 和 FFHQ。我们将我们的方法与以前的基于图像块的生成方法进行了比较，并在所有四个数据集上获得了最先进的 FID 分数。此外，与经典的扩散模型相比，Patch-DM 还减少了内存复杂度。

    Aug, 2023

  • 高分辨率视频生成的分层补丁扩散模型

    扩散模型在图像和视频合成方面表现出了卓越的性能，但将其扩展到高分辨率输入是具有挑战性的，并且需要将扩散流程重组为多个独立组件，限制了可伸缩性并复杂化了下游应用。

    Jun, 2024

  • 掩蔽变换器应用于扩散模型快速训练

    本论文提出了一种使用掩码 Transformer 训练大型扩散模型的高效方法，实现了在不牺牲生成性能的情况下，仅使用 31％的训练时间达到与最先进的扩散变压器模型相同性能的效果。

    Jun, 2023

  • 基于补丁扩散模型学习图像先验用于解决逆问题

    本文提出了一种通过仅对图像的补丁进行扩散模型训练来学习整个图像的高效数据先验的方法，该方法通过分数和位置编码获取整个图像的分数函数，并将其用作解决逆问题的先验。该方法在提高内存效率和数据效率的同时，仍然能够通过位置编码生成整个图像，并且可以与不同的扩散逆求解器（DIS）配合使用，适用于自然和医学图像域中的各种逆问题解决，包括 CT 重建，去模糊和超分辨率，仅使用基于补丁的先验方法优于基于整个图像先验训练的先前 DIS 方法在训练数据有限的情况下表现出了数据效率。

    Jun, 2024

  • 掩码扩散模型学习速度快

    我们提出了一种基于先验的去噪训练框架，并将先训练和微调范式纳入扩散模型的训练过程，从而显着提高了训练效率和生成的图像质量。

    Jun, 2023

  • DiffFit: 通过简单的参数高效调整解锁大规模扩散模型的可传递性

    该论文提出 DiffFit，一种参数高效的策略，可以对大规模预先训练的扩散模型进行微调，从而实现对新领域的快速适应，本方法只需要微调特定层中的偏差项和新加入的缩放因子，相对于完整的微调，实现了 2 倍的训练加速和极低的模型存储成本，DiffFit 在 8 个下游数据集中表现突出，取得了竞争性的性能，并证实缩放因子对快速适应的功效。

    Apr, 2023

  • 弹性扩散：无需训练的任意尺寸图像生成

    通过 ElasticDiffusion 这种新的无需训练的解码方法，将预训练的文本到图像扩散模型能够生成不同尺寸的图像。

    Nov, 2023

  • DistriFusion：高分辨率扩散模型的分布式并行推理

    通过利用并行处理和分布式计算，我们提出了 DistriFusion 方法以应对扩散模型在生成高分辨率图像时面临的计算资源和延迟的挑战。DistriFusion 方法能够以较低的质量损失，在多个 GPU 上实现高效率的图像生成，并通过异步通信以及计算流水线的方式实现了高达 6.1 倍的速度提升。

    Feb, 2024