May, 2023

通过时移采样缓解扩散模型中的暴露偏差

PDF
TL;DR本文研究了扩散模型中存在的曝光偏差，并提出了一种名为 Time-Shift Sampler 的推理方法，该方法可以在不重新训练模型的情况下缓解曝光偏差，并通过实验结果证明了其有效性。
denoising diffusion probabilistic modelsexposure biasinferencesamplingtime-shift sampler
发现论文，激发创造
  • ShiftDDPMs: 探索通过平移扩散轨迹来探索条件扩散模型

    本研究提出了一种新的有条件扩散模型 ShiftDDPMs，通过将条件引入正向过程，为每个条件分配一个独特的扩散轨迹，并通过定向规则来实现条件建模，从而提高模型的学习能力和生成效果。在图像合成方面进行了广泛的实验，证明了 ShiftDDPMs 的可行性和有效性。

    Feb, 2023

  • 优化时间步长加速扩散采样

    通过设计一个优化问题，并使用约束信任区域方法，我们提出了一种针对特定数值 ODE 解算器的扩散概率模型 (DPMs) 寻找更合适的时间步长的通用框架，该框架能显著改善图像生成性能。

    Feb, 2024

  • 高效学习从扩散概率模型中采样

    提出了一种动态规划算法，基于 ELBO 分解原理，可用于任何预先训练的 DDPM，通过优化推理时间表来发现最优的离散时间表，从而实现生成速度与样本质量之间的平衡。

    Jun, 2021

  • 揭示扩散模型中的暴露偏差

    扩散模型具有令人印象深刻的生成能力，但其所谓的 “曝光偏差” 问题，即训练和抽样之间的输入不匹配，缺乏深入探索。本文通过首先对抽样分布进行分析建模，然后将每个抽样步骤的预测误差归因为曝光偏差问题的根本原因，对扩散模型中的曝光偏差问题进行了系统研究。此外，我们讨论了此问题的潜在解决方案，并提出了一个直观的度量方法。除了阐明曝光偏差问题，我们还提出了一种简单但有效的无需训练的方法，称为 Epsilon Scaling，以缓解曝光偏差。我们通过缩小网络输出（Epsilon）使抽样轨迹明确地接近训练阶段学习到的向量场，减轻了训练和抽样之间的输入不匹配。针对各种扩散框架（ADM，DDPM/DDIM，LDM），无条件和有条件设置以及确定性与随机抽样的实验验证了我们方法的有效性。

    Aug, 2023

  • 医学图像生成的快速去噪扩散概率模型

    Fast-DDPM 是一种简单而有效的方法，可同时提高训练速度、采样速度和生成质量，通过仅使用 10 个时间步进行训练和采样，相比 DDPM，Fast-DDPM 能够在医学图像生成任务中优于基于卷积网络和生成对抗网络的当前最先进方法，并将训练时间缩短了 5 倍，采样时间缩短了 100 倍。

    May, 2024

  • 透过误差分析的角度快速扩散概率模型采样

    本研究提出了一种基于 “限制后向误差进度表”（RBE 进度表）的快速采样方法，使 Denoising Diffusion Probabilistic Models（DDPM）拥有更快的采样速度而不需要进一步训练，并在各种基准数据集上实现了高品质图像的生成。

    Apr, 2023

  • 扩散模型的推断稳定性

    提出了一种新的序列感知损失函数，以减小估计误差从而提高采样质量，并通过实验证明了该方法相比于传统损失函数在图像泛化质量方面的显著改进。

    Dec, 2023

  • 利用时间步调节器实现更准确的扩散模型加速

    我们提出了一种时间步齐器方法，用于改善扩散模型的图像生成质量和推理速度，通过在每个去噪步骤中替换原始参数化，将网络调整到准确的时间步骤上，从而提高各种最先进加速方法的性能。

    Oct, 2023

  • 具有明确转移概率的解耦扩散模型

    本文提出了一种名为 DDM 的扩散模型，通过将复杂的扩散过程分解为两个相对简单的过程，来提高生成效果和速度，它通过显式转移概率近似图像分布，并通过标准维纳过程控制噪声路径；文章还提出了一个新的 DPM 训练目标，能够分别预测噪声和图像成分，同时，DDM 的逆向去噪公式可以自然地支持少数的生成步骤（不需要基于 ODE 的加速器），实验结果表明，DDM 在更少的函数评估方面优于以前的 DPM。

    Jun, 2023

  • 时序集成扩散模型的稳健半监督分割

    本研究侧重于使用扩散模型进行半监督图像分割，特别是针对领域泛化问题，结论表明较小的扩散步骤生成的潜在表示比较大的步骤更具鲁棒性，通过利用信息密集的小步骤和较大步骤的正则化效果生成预测，该模型在领域变化设置中表现出明显较好的性能且在领域内保持有竞争力的性能，突显了 DDPM 在半监督医学图像分割中的潜力并提供了优化其在领域变化下性能的见解。

    Nov, 2023