Jun, 2024

DEFT：通过学习广义 $h$- 变换实现条件扩散模型的高效微调

PDF
TL;DR利用 Doob 的 h - 变换统一现有方法的条件训练和采样，我们提出了一种新的条件生成方法 DEFT（Doob 的 h - 变换高效微调），通过微调一个非常小的网络快速学习条件 h - 变换，同时保持较大的无条件网络不变，从而在各种线性和非线性基准测试中实现了最先进的性能，图像重构任务中的速度提升可达到 1.6 倍，同时具有自然图像的最佳感知质量和医学图像重构性能。
generative modellingdenoising diffusion processesconditional samplingunifying frameworkdoob's h-transform
发现论文，激发创造
  • 图像逆问题中的可导条件扩散对于离域自适应

    我们介绍了一种名为可控条件扩散的新型采样框架，它将去噪扩散模型与可用的测量数据相结合，实现了对多样的成像模态下的离群任务的显著改进，推动了去噪扩散模型在实际应用中的鲁棒部署。

    Aug, 2023

  • 条件扩散蒸馏

    通过图像条件实现的一种新颖的有条件蒸馏方法，将扩散模型的先验知识与图像条件相结合，大大简化了以往两阶段的蒸馏过程，并通过少量的额外参数和冻结的无条件主干网络实现了一种新的高效蒸馏机制，实验结果表明，该方法在多个任务上的表现优于现有的人工蒸馏技术，并且是第一个能够与更慢的精细调优有条件扩散模型相匹配的蒸馏策略。

    Oct, 2023

  • ShiftDDPMs: 探索通过平移扩散轨迹来探索条件扩散模型

    本研究提出了一种新的有条件扩散模型 ShiftDDPMs，通过将条件引入正向过程，为每个条件分配一个独特的扩散轨迹，并通过定向规则来实现条件建模，从而提高模型的学习能力和生成效果。在图像合成方面进行了广泛的实验，证明了 ShiftDDPMs 的可行性和有效性。

    Feb, 2023

  • 通过几何分解的快速扩散采样器用于逆问题

    提出了一种新颖有效的扩散采样策略，将样本分解为在清洁数据流形上投影得到的 “去噪” 部分和诱导样本向下一级噪声流形过渡的 “噪声” 部分，可以更快和更精确地进行采样。在挑战性的实际医学逆成像问题中实现了最先进的重构质量，并且比以前的最先进方法快 80 倍以上。

    Mar, 2023

  • 学习一种用于图像恢复的粗到细扩散变压器

    提出了一种粗糙到精细扩散变换器（C2F-DFT）用于图像恢复，它包含粗糙到精细的训练模式、扩散自注意力和扩散前馈网络，并在去噪、去模糊和真实降噪三个任务上显著优于 IR-SDE 等扩散模型，并与基于变压器的现有方法表现出竞争性能。

    Aug, 2023

  • MetaDiff: 基于条件扩散的元学习用于少样本学习

    通过将极大化模型的学习能力赋予于少样本学习，即仅通过少量样本快速学习，是人工智能的一个核心挑战。本文提出了一种基于扩散模型的元学习算法 MetaDiff，通过将渐变下降优化器建模为扩散模型，并以去噪的方式对模型权重的优化过程进行建模，从而实现了高效的训练，大大减轻了内部路径的内存负担和梯度消失的风险，在少样本学习任务中优于现有的基于渐变的元学习算法家族。

    Jul, 2023

  • 高保真基于扩散的图像编辑

    扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架，其中包含一个修正模块，用残差特征调节扩散模型权重，以填补编辑过程中准确性的差距。此外，我们引入了一种新的学习范式，旨在在编辑过程中最小化错误传播。通过大量实验证明，我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果，并在定量指标和质量评估方面表现出色。此外，我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。

    Dec, 2023

  • 并非所有步骤相等：高效生成与渐进传播模型

    提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。

    Dec, 2023

  • 扩散模型的高效差分隐私微调

    使用低维适应和差分隐私的参数高效微调扩散模型可生成有用的合成样本，并保证了微调数据的隐私保护。

    Jun, 2024

  • 引导扩散：一种泛化的插拔式条件图像合成框架

    通过使用预先训练的逆模型设计的损失，利用扩散模型的生成控制能力，我们引入了 Steered Diffusion，这是一个通用的框架，用于实现基于扩散模型的逼真零样本条件图像生成，以在推理时引导扩散模型的图像生成过程。我们的实验表明，与最先进的基于扩散的即插即用模型相比，我们的框架在多种任务上如修补、着色、文本引导的语义编辑和图像超分辨率方面有明显的定性和定量改进，同时增加了可忽略的额外计算成本。

    Sep, 2023