Jun, 2023

DORSal: 基于扩散的场景对象中心表征

PDF
TL;DR本文通过引入扩散模型，提出了一种基于对象中心槽的 3D 场景生成框架 DORSal，具有良好的渲染效果和对象级别的场景编辑功能。
3d scene understandingdiffusion modelsneural renderingobject-level scene editingdorsal
发现论文，激发创造
  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022

  • Diffusion$^2$: 通过正交扩散模型的得分组合生成动态 3D 内容

    Diffusion$^2$ 是一种新颖的框架，通过从视频数据和多视图扩散模型获取几何一致性和时间平滑性的知识，直接生成密集的多视图和多帧图像，优化连续性 4D 表示，从而在几分钟内生成 4D 内容。

    Apr, 2024

  • 可扩展的三维对象为中心学习的变异推断

    我们提出了一种可伸缩的无监督面向对象中心的 3D 场景表示学习方法，通过学习在局部对象坐标系统中视角不变的 3D 对象表示，从而推断和维护 3D 场景的对象中心表示，并优于以前的模型。

    Sep, 2023

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • 单级扩散 NeRF：一种统一的三维生成和重建方法

    本文提出了一种称为 SSDNeRF 的新方法，它使用表达能力强的 Diffusion Model 从多视图图像中学习神经辐射场（NeRF）的可推广先验，实现 3D 重建和先验学习的同时，证明了该方法在无条件生成和单 / 稀疏视图 3D 重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。

    Apr, 2023

  • Zero123-6D：RGB 类别级别 6D 姿态估计的零样本新视角合成

    通过将 Diffusion 模型与特征提取技术相结合，本文提出了 Zero123-6D 方法，并在 CO3D 数据集上进行了实验，展示了在类别级别上通过扩展稀疏的纯 RGB 参考视图来提高零侧位姿估计性能、减少数据需求以及消除对深度信息的需求。

    Mar, 2024

  • 使用 3D 感知扩散模型实现生成新视图综合

    使用基于扩散的模型，结合现有的二维扩散骨架和三维特征体，进行三维感知的图像生成，同时具备自回归生成 3D 一致的序列能力。在合成渲染图像和实际物体上展示了最先进的效果。

    Apr, 2023

  • 使用场景图进行 3D 场景扩散引导

    使用场景图进行 3D 场景扩散引导的新方法，通过在去噪网络中使用关系图卷积块来利用场景图提供的相对空间信息，显著提高了场景描述与生成场景之间的对齐。

    Aug, 2023

  • 3D 扩散行为者：带有 3D 场景表示的策略扩散

    我们结合扩散策略和 3D 场景表示来实现机器人操纵，提出了一种名为 3D Diffuser Actor 的神经策略体系结构，它在给定语言指令的情况下构建视觉场景的 3D 表示，并在此基础上迭代性地对机器人的末端执行器进行 3D 旋转和平移噪声去除。通过实验验证，我们的模型在机器人学习领域取得了显著的性能提升。

    Feb, 2024

  • Sat2Scene: 基于扩散的卫星图像三维城市场景生成

    利用扩散模型与神经渲染技术，提出了一种新颖的直接生成三维场景的方法，该方法能够从卫星图像中生成逼真的街景图像序列和跨视角城市场景。

    Jan, 2024