后验蒸馏采样
本文介绍了一种通过扩展扩散模型进行图像修复的新方法,该方法利用生成过程中与测量身份一致的样本,并结合测量信号与初始化信息来提高生成过程的效果。实验证明了该方法在不同的图像修复任务中的有效性。
Feb, 2024
利用预训练扩散模型的一种新型学习方法,直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模,从而实现了高保真度和逼真度的三维内容生成,条件为单张图像和提示。通过利用生成对抗网络(GANs)的潜在空间和表达力丰富的扩散模型先验,我们的方法促进了各种三维应用,包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明,与以往的工作相比,我们的流程在生成质量和多样性方面表现出更强的优势。
Dec, 2023
利用基于评分的生成扩散模型,我们介绍了一种新颖的无监督反演方法,针对由偏微分方程引起的逆问题,通过解决一个逆向时间的随机微分方程来实现将后验分布作为条件生成过程的任务。此外,为了提高反演结果的准确性,我们提出了一种基于 ODE 的扩散后验采样反演算法。通过一系列涉及各种偏微分方程的实验证明了我们提出方法的效率和鲁棒性。
Apr, 2024
利用新颖的评分匹配损失,我们提出了一种基于粒子迭代方案的粒子去噪扩散取样器(PDDS),它能够在温和假设下提供渐近一致的估计,我们在多模态和高维取样任务上演示了 PDDS。
Feb, 2024
通过图像条件实现的一种新颖的有条件蒸馏方法,将扩散模型的先验知识与图像条件相结合,大大简化了以往两阶段的蒸馏过程,并通过少量的额外参数和冻结的无条件主干网络实现了一种新的高效蒸馏机制,实验结果表明,该方法在多个任务上的表现优于现有的人工蒸馏技术,并且是第一个能够与更慢的精细调优有条件扩散模型相匹配的蒸馏策略。
Oct, 2023
我们提供了一个用于解决扩散模型的反问题的框架,该框架可以从线性损坏的数据中学习。我们的方法是环境扩散后验采样(A-DPS),利用在一种类型的损坏上进行预训练的生成模型,在来自可能不同的前向过程的测量条件下进行后验采样。我们在标准的自然图像数据集上测试了我们的方法(CelebA、FFHQ 和 AFHQ),并且我们表明 A-DPS 在速度和性能上有时可以超过在干净数据上训练的模型进行几项图像修复任务。我们进一步扩展了环境扩散框架,用访问仅限于傅里叶子采样的多线圈 MRI 测量,加速因子为 2、4、6、8 来训练 MRI 模型。我们再次观察到,在高加速度区间内,与在完全采样数据上训练的模型相比,训练在高度子采样数据上的模型更适用于解决反问题。我们开源了我们的代码和训练的环境扩散 MRI 模型。
Mar, 2024
通过扩散后验抽样的方法,我们提出了一种解决非线性 CT 图像重建的逆问题的新方法,该方法结合了训练先验评分函数的传统无条件扩散模型和根据非线性物理模型导出的测量似然评分函数,可以用于采样逆向扩散过程。此方法允许将扩散为基础的先验与广义的非线性 CT 图像重建结合到具有不同正向模型的多个 CT 系统设计中,无需任何额外的训练。
Dec, 2023
本文提出了一种基于矩阵预调和扩散采样的方法,可加速得分为基础的生成模型(SGMs)的推断,特别在更具挑战性的高分辨率图像生成时,其速度可提高 29 倍,而不影响合成质量。
Jul, 2022
本文提出一种扩展扩散模型求解广泛的噪声非线性逆问题的方法,该方法利用后验采样实现扩散采样和流形约束梯度融合,并适用于各种噪声统计和非线性问题,代码公开。
Sep, 2022
通过最优成本传输路径的观点,我们提出了一种新的方法,通过校准源分布的文本条件,可以在许多领域中产生高质量的生成和翻译结果,并击败专用方法的性能。
Jun, 2024