May, 2023

选择性引导：Guided Diffusion 的所有降噪步骤都重要吗？

PDF
TL;DR本研究旨在优化 Stable Diffusion 引导推理管道，并提示仅计算条件噪声，消除无条件噪声计算，可使目标迭代复杂度降低 50%，实验证明，优化去噪环节的最后 20% 迭代可使推理时间减少 8.2%，并扩展到最后 50% 的优化可使推理时间减少约 20.3%，仍生成视觉效果良好的图像。
stable diffusiondenoisinginference pipelineoptimizationinference time
发现论文，激发创造
  • 并非所有步骤相等：高效生成与渐进传播模型

    提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。

    Dec, 2023

  • 不是所有的步骤都相等：选择性扩散蒸馏用于图像操作

    本文介绍了一种名为选择性扩散蒸馏（SDD）的新框架，其在图像处理任务中克服了扩散模型的权衡问题，通过在扩散模型指导下训练前馈图像操作网络和适当选择语义相关的时间步长，获得了图像的保真度和可编辑性。

    Jul, 2023

  • 生成扩散模型的噪声估计

    本文提出一种简单而通用的学习方案，可针对任何给定步骤逐步调整噪声参数，从而显著提高类比扩散模型的综合结果。

    Apr, 2021

  • 动态双输出扩散模型

    在这篇文章中，我们发现了扩散模型生成质量受到迭代次数限制的根本原因，并提出了一个简单而有效的解决方案来缓解这些影响。我们的解决方案可以应用于任何现有的扩散模型，并且在各种 SOTA 体系结构上运行多个数据集和配置进行实验和详尽的消融研究，证明能够立即提高它们的生成质量。

    Mar, 2022

  • 图像逆问题中的可导条件扩散对于离域自适应

    我们介绍了一种名为可控条件扩散的新型采样框架，它将去噪扩散模型与可用的测量数据相结合，实现了对多样的成像模态下的离群任务的显著改进，推动了去噪扩散模型在实际应用中的鲁棒部署。

    Aug, 2023

  • DDGM: 基于扩散去噪的梯度最小化求解反问题

    该论文提出了一种基于梯度下降与降噪相结合的噪声重建方法，可以高精度地重建电子显微学的层析成像问题，结果表明相对于传统方法和更复杂的扩散方法，该方法具有更高的精度和更快的计算速度。

    Jul, 2023

  • 用于生成性语音增强的单步和少步扩散

    通过两阶段训练方法，我们解决了扩散模型在语音增强中的潜在问题，实现了与基准模型相当的性能，缩短了推理过程时间，并显著优于扩散基线模型。

    Sep, 2023

  • 物理相关扩散模型

    通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。

    Mar, 2024

  • 关于引导式扩散模型的精馏

    本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。

    Oct, 2022

  • 基于拖曳引导的车辆图像生成扩散模型

    本文提出了基于物理学的指导，通过优化预测模型的性能指标来生成图像，并在 Stable Diffusion 中添加了阻力引导，以生成具有最小预测阻力系数的新型车辆图像。

    Jun, 2023