Oct, 2023

Open-NeRF：面向开放词汇的 NeRF 分解

PDF
TL;DR该研究关注解决从开放词汇中将神经辐射场（NeRF）分解为对象的挑战，这对于三维重建和视图合成中的对象操作是至关重要的。我们提出了 Open-NeRF，利用大规模、现成的分割模型，如 Segment Anything Model（SAM），并引入了一种集成和蒸馏范式，通过层次嵌入来既实现开放词汇查询的灵活性，又保持三维分割的准确性。Open-NeRF 首先利用大规模的基础模型根据不同视角生成分层的二维掩模提案，然后通过跟踪方法对这些提案进行对齐，并在三维空间中进行集成，最后蒸馏为三维场。该过程确保了不同视角下的对象一致识别和细粒度，即使在涉及遮挡和模糊特征的挑战性场景中也是如此。实验结果表明，Open-NeRF 在开放词汇的场景中胜过了 LERF 和 FFD 等最先进的方法。Open-NeRF 为 NeRF 分解提供了一个有前途的解决方案，通过开放词汇查询引导，能够在开放世界的三维场景中实现新的机器人和视觉语言交互应用。
发现论文，激发创造
  • OV-NeRF: 基于视觉和语言的开放词汇神经辐射场技术用于 3D 语义理解

    利用 OV-NeRF 模型，通过单视图和跨视图策略，在 3D 场景中提高语义感知能力，通过 Region Semantic Ranking（RSR）和 Cross-view Self-enhancement（CSE）方法解决了噪声和不一致语义的问题，实验证明其优于当前最先进方法并表现出稳定的性能。

    Feb, 2024

  • OR-NeRF：由多视角分割指导的神经辐射场，用于删除 3D 场景中的对象

    本文提出了一种名为 OR-NeRF 的新型对象移除流水线，它可以在单个视图上通过点或文本提示从 3D 场景中移除对象，并在更短的时间内实现更好的性能。

    May, 2023

  • 通过特征场蒸馏分解 NeRF 以进行编辑

    本文提出通过蒸馏出自监督的 2D 图像特征提取器的知识，优化一种针对 NeRF 的 3D 特征场，从而实现语义场景分解以及针对局部区域的查询式编辑，从而实现结构编辑的目的。通过实验证明，3D 特征场可以将最近在 2D 视觉和语言基础模型中取得的进展应用于 3D 场景表示，从而实现令人信服的 3D 分割和选择性编辑。

    May, 2022

  • OpenObj：具有细粒度理解的开放词汇对象级神经辐射场

    通过 OpenObj 方法，在 3D 场景重建方面，有效地建立开放性对象级别的 Neural Radiance Fields，以实现细粒度的理解和零 - shot 语义分割。

    Jun, 2024

  • Obj-NeRF: 从多视图图像中提取物体 NeRF

    本研究提出了 Obj-NeRF，一种综合管道，通过使用一个单一的提示从多视图图像中恢复特定对象的 3D 几何形状。该方法结合了 Segment Anything Model（SAM）的 2D 分割能力和 NeRF 的 3D 重建能力，并应用了几种有效技术。此外，研究还构建了一个包含多样化对象的大规模对象级 NeRF 数据集，可在各种下游任务中发挥作用。为了证明我们的方法的实用性，我们还将 Obj-NeRF 应用于包括对象去除、旋转、替换和重新上色在内的各种应用。

    Nov, 2023

  • 可编辑的小说视角合成的统一分解和组合 NeRF 学习

    本论文提出了一个统一的神经辐射场（NeRF）框架，以有效地进行场景分解和合成，用于建模现实世界场景，通过学习不同对象的解耦 3D 表示进行场景编辑，同时为新颖视角合成建模整个场景表示。

    Aug, 2023

  • SAID-NeRF：透明物体的分割辅助 NeRF 深度补全

    使用 Visual Foundation Models（VFMs）以零样本、无标签的方式，通过同时重建语义场和增强模型来指导 NeRF 重建过程，从而获取透明物体的准确深度信息。我们的方法 SAID-NeRF 在透明物体深度完成数据集和机器人抓取方面展现了显著的性能。

    Mar, 2024

  • OpenNeRF：使用像素级特征和渲染新视图的开放式 3D 神经场景分割

    OpenNeRF 是一种在视觉 - 语言模型中自然地进行操作的方法，通过使用像素级的 VLM 特征，可以在不需要额外的 DINO 规范化的情况下实现更简化的架构，并在 3D 点云分割上优于近期的开放词汇方法，如 LERF 和 OpenScene，至少优势为 + 4.9 mIoU。

    Apr, 2024

  • DM-NeRF：从 2D 图像中分解和操作 3D 场景几何形状

    本研究利用迄今为止最新的神经辐射场技术，通过引入物体场组件从 2D 视野中学习 3D 空间中所有个体物体的独特代码，并引入反向查询算法以自由地操作学习场景表示中特定的 3D 物体形状，进而解决物体碰撞和视觉遮挡等关键问题，能够准确地从 2D 视野中分解和操作 3D 场景的研究方法被称为 DM-NeRF。

    Aug, 2022

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023