深度扩散图像先验在三维逆问题中的高效非同分布适应
本文结合传统的基于模型的迭代重建方法和现代扩散模型,提出了一种高度有效的方法来解决3D医学图像重建任务,包括稀疏视图断层扫描、有限角度断层扫描、预训练2D扩散模型压缩感知MRI等。我们在测试时提出了2D扩散先验的增强模型先验,从而实现了所有维度上的一致重建。该方法可以在单个普通GPU上运行,并且在最极端情况下(例如2视的3D断层扫描)表现出高保真度和准确度的重建。我们进一步揭示了该方法的泛化能力出乎意料地高,并且可以用于重建与训练数据集完全不同的体积。
Nov, 2022
提出一种名为“SSD”的新型反演流程,使用“Embryo”的概念进行前向过程,采用快捷路径,包括“输入-Embryo-输出”,在图像超分辨率、去模糊和上色等任务中实验有效性,探讨 DA 反演和反投影等一系列额外的生成一致性约束条件。与现有的 zero-shot 方法相比,只需30个NFEs就可取得竞争性的结果。
May, 2023
本文提出了一种基于去噪扩散概率模型的条件生成模型,通过把一个已知的、可求导的正向模型集成到去噪过程中,实现了间接观测信号的采样, 并在三项具有挑战性的计算机视觉任务中进行了验证。
Jun, 2023
我们提出了一种使用文本到图像潜在扩散模型作为通用先验来解决图像逆问题的新方法。我们引入了一种 prompt 调整方法,通过在运行反向扩散过程时动态优化文本嵌入,使得我们能够生成更符合扩散先验的图像。此外,我们提出了一种投影方法,以保持潜在变量在编码器的范围空间内的演化,从而有助于减少图像伪影问题。我们的综合方法 P2L 在各种任务(如超分辨率、去模糊和修复缺失部分)上优于基于图像和潜在扩散模型的逆问题求解器。
Oct, 2023
使用预训练扩散生成模型以输入图像为指导,通过 Diffusion Policy Gradient 方法精确估计输入图像的指导评分函数,解决多种线性和非线性反问题,并在 FFHQ、ImageNet 和 LSUN 数据集上实现更高的图像恢复质量。
Mar, 2024
通过深度学习模型,在扩散模型中使用深度数据一致性更新数据一致性步骤,以解决逆问题的研究论文。DDC方法在线性和非线性任务中表现出卓越的性能,在仅使用5个推理步骤的情况下,平均0.77秒生成高质量解决方案,并且具有对于数据集的稳健性和解决多个任务的能力。
May, 2024
本文提出了一种通过仅对图像的补丁进行扩散模型训练来学习整个图像的高效数据先验的方法,该方法通过分数和位置编码获取整个图像的分数函数,并将其用作解决逆问题的先验。该方法在提高内存效率和数据效率的同时,仍然能够通过位置编码生成整个图像,并且可以与不同的扩散逆求解器(DIS)配合使用,适用于自然和医学图像域中的各种逆问题解决,包括CT重建,去模糊和超分辨率,仅使用基于补丁的先验方法优于基于整个图像先验训练的先前DIS方法在训练数据有限的情况下表现出了数据效率。
Jun, 2024
通过位置感知的三维图像块扩散评分融合,本文提出了一种新的框架,能够学习三维图像的先验进行大规模三维医学图像重建,实验表明我们的方法在稀疏视图和有限角度的CT重建上显著优于先前的方法,并且在高维三维图像($256 imes 256 imes 500$)的实际CT重建问题上获得了最先进的性能,同时算法具有更好或相当的计算效率。
Jun, 2024
通过使用潜在扩散先验,我们提出了一种创新的技术LatentDEM,用于解决更具挑战性的盲逆问题。该方法核心是在迭代的期望最大化(EM)框架中解决盲逆问题:(1)E步使用潜在扩散先验和已知的前向模型从损坏的观测中恢复清晰图像,(2)M步基于恢复的图像估计前向算子。此外,我们提出了两种针对潜在扩散先验和EM框架定制的新型优化技术,从而实现更准确高效的盲逆转结果。作为一个通用框架,LatentDEM支持线性和非线性逆问题。除了常见的2D图像恢复任务,它还能在非线性3D逆渲染问题中提供新的功能。我们通过在代表性的2D盲去模糊和3D稀疏视图重建任务上验证了LatentDEM的性能,证明其相比之前的方法具有更高的功效。
Jul, 2024