使用预训练的 2D 扩散模型解决 3D 反问题

Nov, 2022

使用预训练的 2D 扩散模型解决 3D 反问题

Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models

Hyungjin Chung, Dohoon Ryu, Michael T. McCann, Marc L. Klasky, Jong Chul Ye

TL;DR本文结合传统的基于模型的迭代重建方法和现代扩散模型，提出了一种高度有效的方法来解决 3D 医学图像重建任务，包括稀疏视图断层扫描、有限角度断层扫描、预训练 2D 扩散模型压缩感知 MRI 等。我们在测试时提出了 2D 扩散先验的增强模型先验，从而实现了所有维度上的一致重建。该方法可以在单个普通 GPU 上运行，并且在最极端情况下（例如 2 视的 3D 断层扫描）表现出高保真度和准确度的重建。我们进一步揭示了该方法的泛化能力出乎意料地高，并且可以用于重建与训练数据集完全不同的体积。

Abstract

diffusion models have emerged as the new state-of-the-art generative model with high quality samples, with intriguing properties such as mode coverage and high flexibility. They have also been shown to be effective inverse problem solvers, acting as the prior of the distribution, while

diffusion models inverse problems medical image reconstruction iterative reconstruction compressed sensing mri

发现论文，激发创造

HOLODIFFUSION：使用 2D 图像训练 3D 扩散模型

本研究提出了一种新的扩散设置，可以仅通过 2D 图像监督就可以进行端到端的训练，同时提出的图像形成模型将模型内存与空间内存分离，以应对 3D 扩散模型在训练上遇到的问题，并在 CO3D 数据集上进行的实验表明，该方法是可扩展的，具有稳健性，与现有的 3D 生成建模方法在样本质量和保真度方面相当竞争。

Mar, 2023

利用前向模型的扩散：无需直接监督解决随机逆问题

本文提出了一种基于去噪扩散概率模型的条件生成模型，通过把一个已知的、可求导的正向模型集成到去噪过程中，实现了间接观测信号的采样，并在三项具有挑战性的计算机视觉任务中进行了验证。

Jun, 2023

RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

Nov, 2022

扩散模型求解逆问题的变分视角

本文提出一种基于变分法的正则化方法 RED-Diff 来解决扩散模型后验分布不可计算的问题，通过在不同时间步引入不同的去噪器来实现对图像结构的约束，进而提高扩散模型在图像修复等领域的应用性能。

May, 2023

DreamSparse: 基于 2D 扩散模型的稀疏视角逃离柏拉图的洞穴

本研究中，我们探讨了如何在缺乏信息情况下，运用预先训练的扩散模型来合成全新视角的高质量图像，提出了 DreamSparse 框架，并利用几何模块来抓取 3D 特征，将其转化成空间信息来指导生成过程，并通过改进 2D 扩散模型的方式来保证其生成几何一致的图像，通过实验证明了该方法的有效性。

Jun, 2023

扩散后验采样用于一般噪声反问题

本文提出一种扩展扩散模型求解广泛的噪声非线性逆问题的方法，该方法利用后验采样实现扩散采样和流形约束梯度融合，并适用于各种噪声统计和非线性问题，代码公开。

Sep, 2022

扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。

Mar, 2024

Blaze3DM：将三面体表示与扩散相结合用于三维医学反问题求解

Blaze3DM 是一种新颖的方法，通过集成紧凑的三平面神经场和强大的扩散模型，实现快速且高保真度的生成，用于解决 3D 医学逆问题，它在计算效率上显著提高了现有方法的性能（比以前的工作快 22~40 倍）。

May, 2024

基于补丁扩散模型学习图像先验用于解决逆问题

本文提出了一种通过仅对图像的补丁进行扩散模型训练来学习整个图像的高效数据先验的方法，该方法通过分数和位置编码获取整个图像的分数函数，并将其用作解决逆问题的先验。该方法在提高内存效率和数据效率的同时，仍然能够通过位置编码生成整个图像，并且可以与不同的扩散逆求解器（DIS）配合使用，适用于自然和医学图像域中的各种逆问题解决，包括 CT 重建，去模糊和超分辨率，仅使用基于补丁的先验方法优于基于整个图像先验训练的先前 DIS 方法在训练数据有限的情况下表现出了数据效率。

Jun, 2024

基于图像渲染的去噪传播

通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法 IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。

Feb, 2024