Score Jacobian Chaining：将预训练的 2D 扩散模型提升至 3D 生成
Diffusion$^2$ 是一种新颖的框架，通过从视频数据和多视图扩散模型获取几何一致性和时间平滑性的知识，直接生成密集的多视图和多帧图像，优化连续性 4D 表示，从而在几分钟内生成 4D 内容。
Apr, 2024
通过位置感知的三维图像块扩散评分融合，本文提出了一种新的框架，能够学习三维图像的先验进行大规模三维医学图像重建，实验表明我们的方法在稀疏视图和有限角度的 CT 重建上显著优于先前的方法，并且在高维三维图像（$256 imes 256 imes 500$）的实际 CT 重建问题上获得了最先进的性能，同时算法具有更好或相当的计算效率。
Jun, 2024
本文结合传统的基于模型的迭代重建方法和现代扩散模型，提出了一种高度有效的方法来解决 3D 医学图像重建任务，包括稀疏视图断层扫描、有限角度断层扫描、预训练 2D 扩散模型压缩感知 MRI 等。我们在测试时提出了 2D 扩散先验的增强模型先验，从而实现了所有维度上的一致重建。该方法可以在单个普通 GPU 上运行，并且在最极端情况下（例如 2 视的 3D 断层扫描）表现出高保真度和准确度的重建。我们进一步揭示了该方法的泛化能力出乎意料地高，并且可以用于重建与训练数据集完全不同的体积。
Nov, 2022
利用预训练扩散模型的一种新型学习方法，直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模，从而实现了高保真度和逼真度的三维内容生成，条件为单张图像和提示。通过利用生成对抗网络（GANs）的潜在空间和表达力丰富的扩散模型先验，我们的方法促进了各种三维应用，包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明，与以往的工作相比，我们的流程在生成质量和多样性方面表现出更强的优势。
Dec, 2023
该研究提出了一种使用分数梯度模型重构图像的方法，并使用连续时间依赖分数函数进行训练。该模型可用于解决成像的反问题，尤其是加速 MRI，具有强大的性能及实用性，并且可重构复杂值数据。
Oct, 2021
本文研究使用基于得分的扩散模型进行深层生成建模的方法，系统比较和理论分析不同方法学习条件概率分布的效果，并证明得出条件得分最成功的估计器的理论依据。同时，介绍了多速度扩散框架，提出了一个新的条件分数估计器，与之前的最先进方法相当。伴随着本文的理论和实验研究是一个开放源代码库 MSDiff，可用于应用和进一步研究多速度扩散模型。
Nov, 2021
本研究提出了一种新的扩散设置，可以仅通过 2D 图像监督就可以进行端到端的训练，同时提出的图像形成模型将模型内存与空间内存分离，以应对 3D 扩散模型在训练上遇到的问题，并在 CO3D 数据集上进行的实验表明，该方法是可扩展的，具有稳健性，与现有的 3D 生成建模方法在样本质量和保真度方面相当竞争。
Mar, 2023
Sparse3D 是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取 2D 先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助 C-SDS 技术来增强细节，实验证明了我们的方法在 NVS 和几何重建方面优于之前的最先进工作。
Aug, 2023
本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。
Nov, 2022