May, 2023

使用特征模仿交互式分割 NeRF

PDF
TL;DR本论文研究了将语义特征应用于 Neural Radiance Fields（NeRF）以拓展其应用于实现复杂场景中物体的交互。研究提出了使用感知模型的主干特征，通过渲染语义特征，并仅应用感知模型的解码器，从而实现零样本语义分割的框架。同时可以将学习到的语义映射到提取的网格表面以实现实时交互，通过 Segment Anything Model（SAM）还加速了分割 16 倍，并展示实验结果证明了这种方法的有效性和计算优势。
neural radiance fieldssemanticszero-shot semantic segmentationperception modelsreal-time interaction
发现论文，激发创造
  • SANeRF-HQ：高质量采样对于 NeRF 中的任何分割

    本研究介绍了 Segment Anything for NeRF in High Quality (SANeRF-HQ) 方法，通过结合 Segment Anything Model (SAM) 和 Neural Radiance Fields (NeRF) 实现了高质量的给定场景中任意对象的三维分割，提高了分割边界的准确性，优于当前 NeRF 对象分割的最新方法，并具备更高的对象定位灵活性和多视图的一致对象分割。

    Dec, 2023

  • 使用 NeRFs 对 3D 中的任何物体进行分割

    该研究提出了一个用于三维分割的新框架 SA3D，通过密度导向的反渲染将 2D 分割蒙版投影到 3D 蒙版网格，再通过迭代的方式学习准确的 3D 分割结果，实验表明 SA3D 在不同场景下的有效性。

    Apr, 2023

  • SAMSNeRF: 通过神经辐射场（NeRF）的动态手术场景重建，由 Segment Anything Model (SAM) 指导

    我们提出了一种名为 SAMSNeRF 的创新方法，结合了 Segment Anything Model（SAM）和 Neural Radiance Field（NeRF）技术，通过 SAM 生成手术工具的准确分割掩模，在 NeRF 的指导下对动态手术场景进行精细重建，实验结果表明我们的方法成功重建了具有高保真度的动态手术场景，并准确反映了手术工具的空间信息，从而大大提升了手术导航和自动化的效果。

    Aug, 2023

  • 语义就够了：仅基于语义信息的 NeRF 重建

    优化 Semantic-NeRF 模型以实现仅有语义输出，并移除 RGB 输出成分，通过对比实验证明这种改动对于场景理解、目标检测和分割等任务的影响，提供了渲染场景的新方式并促进了进一步的研究和发展。

    Mar, 2024

  • OR-NeRF：由多视角分割指导的神经辐射场，用于删除 3D 场景中的对象

    本文提出了一种名为 OR-NeRF 的新型对象移除流水线，它可以在单个视图上通过点或文本提示从 3D 场景中移除对象，并在更短的时间内实现更好的性能。

    May, 2023

  • SAID-NeRF：透明物体的分割辅助 NeRF 深度补全

    使用 Visual Foundation Models（VFMs）以零样本、无标签的方式，通过同时重建语义场和增强模型来指导 NeRF 重建过程，从而获取透明物体的准确深度信息。我们的方法 SAID-NeRF 在透明物体深度完成数据集和机器人抓取方面展现了显著的性能。

    Mar, 2024

  • 几何感知的场场变换用于三维语义分割

    我们提出了一种新颖的方法，通过利用神经辐射场（NeRFs）从二维监督中进行三维语义分割，通过提取表面点云上的特征，实现了场景的紧凑表示，这种表示对于三维推理而言具有高效的采样并且适于少样本分割。我们的方法不依赖于场景参数化，可以适用于任何类型的 NeRF 场景。

    Oct, 2023

  • 可交互辐射场分割

    本文提出了 ISRF 方法，该方法可以与尝试从 RF 中分割复杂对象的先前分割方法相比，交互性地分割带有细微结构和外观的对象，并可用于新视图合成、多个场景中的对象分割等应用。

    Dec, 2022

  • Sem2NeRF：将单视图语义掩模转换为神经辐射场

    本文提出了一个名为 Sem2NeRF 的框架，实现了从单视角语义掩码到 3D 物体模型的转换任务，并采用区域感知学习策略对映射的精度进行改进，其在两个基准数据集上表现优于多个强基线模型。

    Mar, 2022

  • GP-NeRF：通用感知 NeRF 用于上下文感知 3D 场景理解

    提出了一种通用感知 NeRF（GP-NeRF）模型，通过引入 transformers 和自我蒸馏机制，实现了语义场和几何场的联合渲染，以促进具有上下文感知的三维场景理解。在评估中，使用合成和真实世界数据集进行了两个感知任务（即语义和实例分割）的实验比较，取得了显著的优于现有方法的效果。

    Nov, 2023