Aug, 2023

辐射场的场景通用交互式分割

PDF
TL;DR该研究论文对于在光辐射场中进行交互式分割的现有方法进行了探讨，并提出了一种新的 SGISRF 方法，能够通过少量用户交互点击，对由光辐射场表示的新场景进行 3D 物体分割。该方法通过三种特别设计的技术来解决三个关键挑战，并在多个实验中证明了其有效性和适用性。
interactive segmentationradiance fieldsscene-generalizable3d object segmentationsgisrf method
发现论文，激发创造
  • 可交互辐射场分割

    本文提出了 ISRF 方法，该方法可以与尝试从 RF 中分割复杂对象的先前分割方法相比，交互性地分割带有细微结构和外观的对象，并可用于新视图合成、多个场景中的对象分割等应用。

    Dec, 2022

  • SERF：使用 Radiance Fields 进行细粒度交互式 3D 分割与编辑

    通过整合多视图算法和预训练的 2D 模型，我们介绍了一种新的基于细粒度交互的三维分割和编辑算法，称为 SERF。该方法利用神经网格表示法建立起准确和可交互的三维分割，从而实现包括交互式几何编辑和纹理绘制在内的一系列三维编辑操作，并在真实数据和合成数据上的广泛实验证实了我们方法在表示质量和编辑能力上的优越性。

    Dec, 2023

  • GSN: 神经辐射场的通用分割

    将语义特征场转化为广义 GNT 表示，实现对未知场景的实时多视角分割。

    Feb, 2024

  • 分段任何三维高斯模型

    介绍了一种新颖的 3D 交互分割方法 Segment Any 3D GAussians (SAGA)，通过良好设计的对比训练将由分割基础模型生成的多颗粒度 2D 分割结果高效嵌入到 3D 高斯点特征中，实现了多颗粒度分割和适应各种提示，包括点，涂鸦和 2D 蒙版。SAGA 可以在毫秒内完成 3D 分割，相比先前的 SOTA 加速近 1000 倍。

    Dec, 2023

  • SIGNeRF: 基于场景集成生成的神经辐射场

    SIGNeRF 是一种快速和可控的 NeRF 场景编辑和场景整合对象生成的新方法，通过图像扩散模型的深度条件机制，在一次迭代中基于参考图像集合对原始 NeRF 进行更新和改进，从而实现三维一致性视图生成。

    Jan, 2024

  • RT-GS2: 3D 高斯辐射场的实时通用语义分割

    RT-GS2 是第一个能够实现实时泛化的 3D 高斯渲染中语义分割方法，通过提取独立于视角的 3D 高斯特征并采用新颖的视角相关 / 独立特征融合，能够在不同视角下提升语义一致性，超过同领域最先进方法的语义分割质量达到 8.01％的提高，并以每秒 27.03 帧的实时性能，相比现有方法提速达 901 倍，这一工作在引入光辐射场 3D 高斯表达领域的语义分割上代表了重大进展。

    May, 2024

  • SceneRF: 用 Radiance Fields 进行自监督单目 3D 场景重建

    本论文提出了 SceneRF 方法，采用自监督单目场景重建方法，只用图像序列进行训练，优化辐射场，生成新的深度视图，并成功应用于室内 BundleFusion 和室外 SemanticKITTI 的场景重建中，超越了最近的基线

    Dec, 2022

  • 三维高斯函数中的语义任意性

    通过交互式流程而无需任何训练过程和学习参数，本文提出了一种在 3D 高斯中实现对象分割的新方法，称为 SA-GS。通过提出的多视角掩码生成和视图标签分配方法，SA-GS 可以泛化 SAM 以实现 3D 一致的分割，并提出了跨视图标签投票方法来分配不同视图中的标签。实验证明，SA-GS 在 3D 分割结果方面具有高质量，也可以轻松应用于场景编辑和碰撞检测任务。

    Jan, 2024

  • GSNeRF: 增强的通用语义神经辐射场与 3D 场景理解

    使用多视图输入合成新视图图像，神经辐射场（NeRF）已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场（GSNeRF）的方法，该方法独特地将图像语义纳入合成过程中，从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成：语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入，提取语义和几何特征。在后者的指导下，利用得到的图像几何信息，进行图像和语义渲染，从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作，并进一步验证了我们的采样策略的有效性。

    Mar, 2024

  • 几何感知的场场变换用于三维语义分割

    我们提出了一种新颖的方法，通过利用神经辐射场（NeRFs）从二维监督中进行三维语义分割，通过提取表面点云上的特征，实现了场景的紧凑表示，这种表示对于三维推理而言具有高效的采样并且适于少样本分割。我们的方法不依赖于场景参数化，可以适用于任何类型的 NeRF 场景。

    Oct, 2023