Jun, 2023

DreamSparse: 基于 2D 扩散模型的稀疏视角逃离柏拉图的洞穴

PDF
TL;DR本研究中，我们探讨了如何在缺乏信息情况下，运用预先训练的扩散模型来合成全新视角的高质量图像，提出了 DreamSparse 框架，并利用几何模块来抓取 3D 特征，将其转化成空间信息来指导生成过程，并通过改进 2D 扩散模型的方式来保证其生成几何一致的图像，通过实验证明了该方法的有效性。
novel view images2d diffusion modelsdreamsparse3d feature mapsgenerative process
发现论文，激发创造
  • Sparse3D：基于稀疏视角的多视点一致性扩散物体重建

    Sparse3D 是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取 2D 先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助 C-SDS 技术来增强细节，实验证明了我们的方法在 NVS 和几何重建方面优于之前的最先进工作。

    Aug, 2023

  • 使用 3D 感知扩散模型实现生成新视图综合

    使用基于扩散的模型，结合现有的二维扩散骨架和三维特征体，进行三维感知的图像生成，同时具备自回归生成 3D 一致的序列能力。在合成渲染图像和实际物体上展示了最先进的效果。

    Apr, 2023

  • SyncDreamer: 从单视图图像生成多视图一致的图像

    我们提出了一个同步多视角扩散模型 SyncDreamer，该模型可以从单视图图像生成多视角一致的图像，解决了几何和颜色保持一致性的挑战。实验显示，SyncDreamer 生成的图像在不同视角上具有高度一致性，因此非常适合于新视点综合、文本到三维和图像到三维等各种三维生成任务。

    Sep, 2023

  • GeoDream: 高保真和一致的 3D 生成中的解耦 2D 和几何先验

    通过结合三维几何先验和二维扩散先验，GeoDream 方法能够生成具有一致的三维几何结构的文本到三维模型，并提供更高分辨率、真实感的渲染和更好的语义一致性。

    Nov, 2023

  • iFusion：从稀疏视角倒置扩散进行无姿态重建

    iFusion 是一个新颖的 3D 物体重建框架，只需两个未知相机姿态的视图。通过使用预训练的新视图合成扩散模型进行相机姿态估计和新视图合成，iFusion 能够在 3D 物体重建中表现出良好的性能并与其他方法相融合。

    Dec, 2023

  • Sculpt3D：多视角一致的基于稀疏三维先验的文本生成 3D

    使用稀疏射线采样方法通过关键点监督，实现了在当前管道中显式注入来自检索参考对象的 3D 先验，以确保高质量和多样化的 3D 几何，同时保持 2D 扩散模型的生成质量和多视角一致性。

    Mar, 2024

  • 使用预训练的 2D 扩散模型解决 3D 反问题

    本文结合传统的基于模型的迭代重建方法和现代扩散模型，提出了一种高度有效的方法来解决 3D 医学图像重建任务，包括稀疏视图断层扫描、有限角度断层扫描、预训练 2D 扩散模型压缩感知 MRI 等。我们在测试时提出了 2D 扩散先验的增强模型先验，从而实现了所有维度上的一致重建。该方法可以在单个普通 GPU 上运行，并且在最极端情况下（例如 2 视的 3D 断层扫描）表现出高保真度和准确度的重建。我们进一步揭示了该方法的泛化能力出乎意料地高，并且可以用于重建与训练数据集完全不同的体积。

    Nov, 2022

  • 扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

    提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。

    Mar, 2024

  • UpFusion：基于未姿态稀疏视角观测的新视角扩散

    UpFusion 是一个系统，可以在没有对应姿态信息的情况下，根据稀疏的参考图像执行新视角合成和推断对象的三维表示。

    Dec, 2023

  • 视图集扩散：从二维数据生成 (0-) 图像条件下的三维生成模型

    借助 Viewset Diffusion 框架，可以从 2D 数据中训练图像条件化的 3D 生成模型，从而解决单视图 3D 重建中的歧义问题，并通过对多视图图像集的去噪扩展了 3D 真实数据的可用性，通过仅渲染 3 张图片，我们的模型可以执行 3D 生成和单视图重建。

    Jun, 2023