Apr, 2021

通过无监督体积分割将 3D 场景分解为对象

PDF
TL;DRObSuRF 为将场景单张图像转化为一组 Neural Radiance Fields (NeRFs) 三维模型的方法，可用于多视角的 CLEVR 以及将场景 populate 为 ShapeNet 模型的数据集中，在不需要监督的情况下实现了对场景中的物体进行分割，并且在三个二维图像分割基准测试中表现出与现有技术相同或更好的效果。
3d modelneural radiance fieldsimage segmentationmultiview versionshapenet
发现论文，激发创造
  • 无监督发现物体辐射场

    本文提出了一种无监督的方法，叫做 uORF，用于从单张图像中推断物体场景表示，该方法整合了神经 3D 场景表示和深度推断网络，能够成功地分解复杂的 3D 场景，并完成诸如场景分割、3D 编辑和新视角合成等任务。

    Jul, 2021

  • Obj-NeRF: 从多视图图像中提取物体 NeRF

    本研究提出了 Obj-NeRF，一种综合管道，通过使用一个单一的提示从多视图图像中恢复特定对象的 3D 几何形状。该方法结合了 Segment Anything Model（SAM）的 2D 分割能力和 NeRF 的 3D 重建能力，并应用了几种有效技术。此外，研究还构建了一个包含多样化对象的大规模对象级 NeRF 数据集，可在各种下游任务中发挥作用。为了证明我们的方法的实用性，我们还将 Obj-NeRF 应用于包括对象去除、旋转、替换和重新上色在内的各种应用。

    Nov, 2023

  • OR-NeRF：由多视角分割指导的神经辐射场，用于删除 3D 场景中的对象

    本文提出了一种名为 OR-NeRF 的新型对象移除流水线，它可以在单个视图上通过点或文本提示从 3D 场景中移除对象，并在更短的时间内实现更好的性能。

    May, 2023

  • ObPose：利用姿态进行三维物体中心场景推理

    ObPose 是一个无监督的对象中心推理生成模型，可以从 RGB-D 场景中学习三维结构的潜在表示，并通过将对象位置和外观分开编码来获得卓越的性能。

    Jun, 2022

  • 基于对象的神经场景渲染

    提出一种基于神经辐射场和基于对象的神经散射函数的方法，能够在不重新训练的情况下，对静态及动态场景进行光线追踪模拟，拥有在新光照和新物品排列情况下泛化能力的物理准确的多物体场景组成渲染技术。

    Dec, 2020

  • DM-NeRF：从 2D 图像中分解和操作 3D 场景几何形状

    本研究利用迄今为止最新的神经辐射场技术，通过引入物体场组件从 2D 视野中学习 3D 空间中所有个体物体的独特代码，并引入反向查询算法以自由地操作学习场景表示中特定的 3D 物体形状，进而解决物体碰撞和视觉遮挡等关键问题，能够准确地从 2D 视野中分解和操作 3D 场景的研究方法被称为 DM-NeRF。

    Aug, 2022

  • Open-NeRF：面向开放词汇的 NeRF 分解

    该研究关注解决从开放词汇中将神经辐射场（NeRF）分解为对象的挑战，这对于三维重建和视图合成中的对象操作是至关重要的。我们提出了 Open-NeRF，利用大规模、现成的分割模型，如 Segment Anything Model（SAM），并引入了一种集成和蒸馏范式，通过层次嵌入来既实现开放词汇查询的灵活性，又保持三维分割的准确性。Open-NeRF 首先利用大规模的基础模型根据不同视角生成分层的二维掩模提案，然后通过跟踪方法对这些提案进行对齐，并在三维空间中进行集成，最后蒸馏为三维场。该过程确保了不同视角下的对象一致识别和细粒度，即使在涉及遮挡和模糊特征的挑战性场景中也是如此。实验结果表明，Open-NeRF 在开放词汇的场景中胜过了 LERF 和 FFD 等最先进的方法。Open-NeRF 为 NeRF 分解提供了一个有前途的解决方案，通过开放词汇查询引导，能够在开放世界的三维场景中实现新的机器人和视觉语言交互应用。

    Oct, 2023

  • 神经体积物体选取

    该研究提出了一种在神经体积三维表示中选择对象的方法，并通过新的数据集证明了其有效性。

    May, 2022

  • 基于槽位导向的体积目标辐射场

    我们提出了一种新颖的三维物体中心表示学习框架，通过单一图像无监督地将复杂场景有效地分解为单个对象。该方法被称为有目标引导的体积物体辐射场（sVORF），它利用对象槽作为引导来组成体积物体辐射场，并在三维位置处使用对象槽引导对象辐射场的合成。此外，由于训练期间像素渲染的小尺寸，sVORF 显著降低了内存要求。我们通过在复杂合成数据集（如 Room-Diverse）的场景分解和生成任务中展示出最佳结果，证明了我们方法的有效性。此外，我们还验证了 sVORF 在现实世界场景（如 LLFF 数据集）中分割对象的潜力。我们希望我们的方法可以对物理世界提供初步的理解，并帮助简化未来在三维物体中心表示学习领域的研究。

    Jan, 2024

  • 可编辑的小说视角合成的统一分解和组合 NeRF 学习

    本论文提出了一个统一的神经辐射场（NeRF）框架，以有效地进行场景分解和合成，用于建模现实世界场景，通过学习不同对象的解耦 3D 表示进行场景编辑，同时为新颖视角合成建模整个场景表示。

    Aug, 2023