Dec, 2023

SANeRF-HQ：高质量采样对于 NeRF 中的任何分割

PDF
TL;DR本研究介绍了 Segment Anything for NeRF in High Quality (SANeRF-HQ) 方法，通过结合 Segment Anything Model (SAM) 和 Neural Radiance Fields (NeRF) 实现了高质量的给定场景中任意对象的三维分割，提高了分割边界的准确性，优于当前 NeRF 对象分割的最新方法，并具备更高的对象定位灵活性和多视图的一致对象分割。
segment anything modelnerf3d segmentationsanerf-hqobject segmentation
发现论文，激发创造
  • 使用 NeRFs 对 3D 中的任何物体进行分割

    该研究提出了一个用于三维分割的新框架 SA3D，通过密度导向的反渲染将 2D 分割蒙版投影到 3D 蒙版网格，再通过迭代的方式学习准确的 3D 分割结果，实验表明 SA3D 在不同场景下的有效性。

    Apr, 2023

  • 使用特征模仿交互式分割 NeRF

    本论文研究了将语义特征应用于 Neural Radiance Fields（NeRF）以拓展其应用于实现复杂场景中物体的交互。研究提出了使用感知模型的主干特征，通过渲染语义特征，并仅应用感知模型的解码器，从而实现零样本语义分割的框架。同时可以将学习到的语义映射到提取的网格表面以实现实时交互，通过 Segment Anything Model（SAM）还加速了分割 16 倍，并展示实验结果证明了这种方法的有效性和计算优势。

    May, 2023

  • SAMSNeRF: 通过神经辐射场（NeRF）的动态手术场景重建，由 Segment Anything Model (SAM) 指导

    我们提出了一种名为 SAMSNeRF 的创新方法，结合了 Segment Anything Model（SAM）和 Neural Radiance Field（NeRF）技术，通过 SAM 生成手术工具的准确分割掩模，在 NeRF 的指导下对动态手术场景进行精细重建，实验结果表明我们的方法成功重建了具有高保真度的动态手术场景，并准确反映了手术工具的空间信息，从而大大提升了手术导航和自动化的效果。

    Aug, 2023

  • Obj-NeRF: 从多视图图像中提取物体 NeRF

    本研究提出了 Obj-NeRF，一种综合管道，通过使用一个单一的提示从多视图图像中恢复特定对象的 3D 几何形状。该方法结合了 Segment Anything Model（SAM）的 2D 分割能力和 NeRF 的 3D 重建能力，并应用了几种有效技术。此外，研究还构建了一个包含多样化对象的大规模对象级 NeRF 数据集，可在各种下游任务中发挥作用。为了证明我们的方法的实用性，我们还将 Obj-NeRF 应用于包括对象去除、旋转、替换和重新上色在内的各种应用。

    Nov, 2023

  • SAID-NeRF：透明物体的分割辅助 NeRF 深度补全

    使用 Visual Foundation Models（VFMs）以零样本、无标签的方式，通过同时重建语义场和增强模型来指导 NeRF 重建过程，从而获取透明物体的准确深度信息。我们的方法 SAID-NeRF 在透明物体深度完成数据集和机器人抓取方面展现了显著的性能。

    Mar, 2024

  • OR-NeRF：由多视角分割指导的神经辐射场，用于删除 3D 场景中的对象

    本文提出了一种名为 OR-NeRF 的新型对象移除流水线，它可以在单个视图上通过点或文本提示从 3D 场景中移除对象，并在更短的时间内实现更好的性能。

    May, 2023

  • NeRF-HuGS: 面向非静态场景的改进神经辐射场，使用启发式引导分割

    提出了一种名为 “启发式引导分割”（HuGS）的新范式，通过将手工制作启发式规则和最先进的分割模型的优点巧妙地结合在一起，显著增强了静态场景与瞬态干扰物的分离能力，同时克服了以往解决方案的局限性，可显著减少 NeRFs 训练中非静态场景下的不希望伪影问题。

    Mar, 2024

  • 三维高斯函数中的语义任意性

    通过交互式流程而无需任何训练过程和学习参数，本文提出了一种在 3D 高斯中实现对象分割的新方法，称为 SA-GS。通过提出的多视角掩码生成和视图标签分配方法，SA-GS 可以泛化 SAM 以实现 3D 一致的分割，并提出了跨视图标签投票方法来分配不同视图中的标签。实验证明，SA-GS 在 3D 分割结果方面具有高质量，也可以轻松应用于场景编辑和碰撞检测任务。

    Jan, 2024

  • Open-NeRF：面向开放词汇的 NeRF 分解

    该研究关注解决从开放词汇中将神经辐射场（NeRF）分解为对象的挑战，这对于三维重建和视图合成中的对象操作是至关重要的。我们提出了 Open-NeRF，利用大规模、现成的分割模型，如 Segment Anything Model（SAM），并引入了一种集成和蒸馏范式，通过层次嵌入来既实现开放词汇查询的灵活性，又保持三维分割的准确性。Open-NeRF 首先利用大规模的基础模型根据不同视角生成分层的二维掩模提案，然后通过跟踪方法对这些提案进行对齐，并在三维空间中进行集成，最后蒸馏为三维场。该过程确保了不同视角下的对象一致识别和细粒度，即使在涉及遮挡和模糊特征的挑战性场景中也是如此。实验结果表明，Open-NeRF 在开放词汇的场景中胜过了 LERF 和 FFD 等最先进的方法。Open-NeRF 为 NeRF 分解提供了一个有前途的解决方案，通过开放词汇查询引导，能够在开放世界的三维场景中实现新的机器人和视觉语言交互应用。

    Oct, 2023

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023