May, 2023

通过快捷取样加速逆问题的扩散模型

PDF
TL;DR提出一种名为 “SSD” 的新型反演流程，使用 “Embryo” 的概念进行前向过程，采用快捷路径，包括 “输入 - Embryo - 输出”，在图像超分辨率、去模糊和上色等任务中实验有效性，探讨 DA 反演和反投影等一系列额外的生成一致性约束条件。与现有的 zero-shot 方法相比，只需 30 个 NFEs 就可取得竞争性的结果。
diffusion modelsshortcut samplingembryoinverse problemszero-shot methods
发现论文，激发创造
  • 通过时移采样缓解扩散模型中的暴露偏差

    本文研究了扩散模型中存在的曝光偏差，并提出了一种名为 Time-Shift Sampler 的推理方法，该方法可以在不重新训练模型的情况下缓解曝光偏差，并通过实验结果证明了其有效性。

    May, 2023

  • 环境扩散后验采样：使用在损坏数据上训练的扩散模型解决逆问题

    我们提供了一个用于解决扩散模型的反问题的框架，该框架可以从线性损坏的数据中学习。我们的方法是环境扩散后验采样（A-DPS），利用在一种类型的损坏上进行预训练的生成模型，在来自可能不同的前向过程的测量条件下进行后验采样。我们在标准的自然图像数据集上测试了我们的方法（CelebA、FFHQ 和 AFHQ），并且我们表明 A-DPS 在速度和性能上有时可以超过在干净数据上训练的模型进行几项图像修复任务。我们进一步扩展了环境扩散框架，用访问仅限于傅里叶子采样的多线圈 MRI 测量，加速因子为 2、4、6、8 来训练 MRI 模型。我们再次观察到，在高加速度区间内，与在完全采样数据上训练的模型相比，训练在高度子采样数据上的模型更适用于解决反问题。我们开源了我们的代码和训练的环境扩散 MRI 模型。

    Mar, 2024

  • 图像恢复的高效扩散模型：残差位移

    通过建立马尔可夫链以提高高质量图像和低质量图像之间转换的效率，并通过精心设计的噪声方案灵活控制扩散过程中的转移速度和噪声强度，本研究提出了一种新的高效扩散模型用于图像恢复，表现优越或可媲美现有的方法，甚至只需进行四步采样。

    Mar, 2024

  • 想象 Flash：使用向后蒸馏加速鸵鸟扩散模型

    通过反向蒸馏、动态适应的位移重构损失和噪声修正技术，我们提出了一种新的蒸馏框架，用于实现高保真度、多样化的样本生成，仅使用一到三个步骤即可。通过大量实验证明，我们的方法在定量指标和人工评估中优于现有竞争对手，仅仅使用三个降噪步骤即可达到与教师模型相当的性能，从而实现了高效高质量的生成。

    May, 2024

  • 扩散模型求解逆问题的变分视角

    本文提出一种基于变分法的正则化方法 RED-Diff 来解决扩散模型后验分布不可计算的问题，通过在不同时间步引入不同的去噪器来实现对图像结构的约束，进而提高扩散模型在图像修复等领域的应用性能。

    May, 2023

  • 来 - 近 - 扩 - 速：通过随机收缩加速条件扩散模型求解反问题

    通过使用新的采样策略 Come-Closer-Diffuse-Faster (CCDF) 和现有的前馈神经网络方法相结合，本文在超分辨率、图像修补和压缩感知 MRI 等三个领域取得了最优的重建性能。

    Dec, 2021

  • 可逆扩散模型用于压缩感知

    本文提出了一种新颖的高效端到端扩散压缩感知方法，使用可逆扩散模型（IDM）从压缩测量恢复原始图像，克服了传统学习范式的限制，超过现有先进的压缩感知网络 2.64dB 的 PSNR 增益并实现 14.54 倍的推理加速。

    Mar, 2024

  • 去噪扩散恢复模型

    本文提出了一种基于先前针对噪声扩散的生成模型的方法 DDPM，用于解决各种图像恢复问题，包括超分辨率，去模糊，填补和上色，相比于现有的非监督方法，DDRM 在重构质量，感知质量和运行时均表现出更好的性能。

    Jan, 2022

  • 通过快速扩散反演进行盲图像恢复

    通过使用预训练的扩散模型，我们提出了一种盲图像恢复方法 BIRD，它在优化退化模型参数和恢复图像的同时，通过在数据流形上提出新的采样技术，将图像恢复任务转化为输入噪声空间中的优化问题。实验证明，该方法在多个图像恢复任务上实现了最先进的性能。

    May, 2024

  • 迭代精化模型中的逆问题快速抽样器

    构建快速采样器以进行无条件扩散和流匹配模型近期备受关注；然而，现有方法在解决超分辨率、修复或去模糊等逆问题时仍需要数百到数千次迭代步骤以获得高质量结果。我们提出了一种插拔式框架用于构建逆问题的高效采样器，只需要预先训练的扩散模型或流匹配模型。我们提出了条件共轭积分器，利用逆问题的具体形式将各自的条件扩散 / 流动动力学投影到更易处理的采样空间中。我们评估了所提方法在多个数据集上的各种线性图像修复任务的性能，采用了扩散和流匹配模型。尤其是在 ImageNet 数据集上的 4 倍超分辨率等具有挑战性的逆问题中，我们的方法能够在仅 5 个条件采样步骤中生成高质量样本，并优于需要 20-1000 步的竞争基准。我们的代码和模型将在此 https URL 公开。

    May, 2024