Apr, 2024

GOV-NeSF: 通用开放词汇神经语义领域

PDF
TL;DR通过引入 Generalizable Open-Vocabulary Neural Semantic Fields (GOV-NeSF)，我们提出了一种对 3D 场景进行泛化的隐式表示方法，显著提升了 2D 和 3D 开放词汇语义分割的性能，同时消除了对语义标签或深度先验的需求，有效地在不进行微调的情况下跨场景和数据集进行泛化。
vision-language foundation models3d scene understandinggeneralizable open-vocabulary neural semantic fieldsimplicit representationopen-vocabulary semantic segmentation
发现论文，激发创造
  • GNeSF：泛化的神经语义场

    基于神经隐式表示的 3D 场景分割方法，通过多视图图像特征和语义地图作为输入，采用软投票机制来聚合来自不同视图的二维语义信息，结合视角差异信息预测投票分数，通过可见性模块筛选掉遮挡视图的有害信息，在只有二维语义监督的情况下，能够综合合成语义地图或进行新场景的三维语义分割。

    Oct, 2023

  • NeSF: 用于三维场景的神经语义字段通用语义分割

    NeSF 是一种从 RGB 图像中生成 3D 语义场的方法，它利用了隐式神经场表示法，根据点积函数捕捉 3D 结构，能够在任意 3D 点上查询，并且生成可以与真实场景相对应的 3D 一致的语义图谱，是第一种只需要 2D 监督进行训练的真正密集的 3D 场景分割方法。

    Nov, 2021

  • 语义高斯：基于 3D 高斯点云绘制的开放词汇场景理解

    基于 3D 高斯喷斑的新型开放词汇场景理解方法，通过提取预训练的 2D 语义学习特征，将其融入 3D 高斯成分，并构建 3D 高斯语义网络用于快速推断，实现了在 ScanNet-20 上对语义分割的改进、对物体部分分割、场景编辑以及时空分割的多样性支持和优越性。

    Mar, 2024

  • 基于上下文感知的实体定位和开放词汇 3D 场景图

    我们介绍了一种开放词汇的 3D 场景图（OVSG），它是一个形式化的框架，用于将各种实体，如物体实例、代理和区域，与自由文本查询进行关联。与传统的基于语义的物体定位方法不同，我们的系统支持上下文感知的实体定位，允许查询，如 ' 在厨房桌子上拿起一个杯子 ' 或' 导航到一个有人坐在上面的沙发 '。与现有的 3D 场景图研究相比，OVSG 支持自由文本输入和开放词汇查询。通过使用 ScanNet 数据集和自采集数据集进行的一系列比较实验证明，我们提出的方法明显超越了以前基于语义的定位技术的性能。此外，我们突出了 OVSG 在真实世界的机器人导航和操作实验中的实际应用。

    Sep, 2023

  • GSNeRF: 增强的通用语义神经辐射场与 3D 场景理解

    使用多视图输入合成新视图图像，神经辐射场（NeRF）已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场（GSNeRF）的方法，该方法独特地将图像语义纳入合成过程中，从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成：语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入，提取语义和几何特征。在后者的指导下，利用得到的图像几何信息，进行图像和语义渲染，从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作，并进一步验证了我们的采样策略的有效性。

    Mar, 2024

  • OV-NeRF: 基于视觉和语言的开放词汇神经辐射场技术用于 3D 语义理解

    利用 OV-NeRF 模型，通过单视图和跨视图策略，在 3D 场景中提高语义感知能力，通过 Region Semantic Ranking（RSR）和 Cross-view Self-enhancement（CSE）方法解决了噪声和不一致语义的问题，实验证明其优于当前最先进方法并表现出稳定的性能。

    Feb, 2024

  • 基于语言的机器人导航的分层开放词汇三维场景图

    本研究致力于解决大规模环境下对象层次之外的抽象查询对于基于语言引导的机器人导航的难题，通过构建一个层次化的开放词汇三维场景图映射方法（HOV-SG），将先进的开放词汇分割级别地图与自由导航相结合，并在覆盖面积上实现了大小的减少，并且在物体、房间和楼层级别上产生了超过之前基线的开放词汇语义准确度。

    Mar, 2024

  • uSF：学习具有不确定性的神经语义领域

    提出了一种新的神经网络模型 uSF，用于形成扩展向量表示，通过评估模型的预测不确定性，实现了对三维场景的可微分重建和不确定性估计，并证明了具有不确定性功能的模型在训练样本有限的情况下表现更好。

    Dec, 2023

  • 神经稀疏体素场

    本文介绍了一种新的神经场景表示方法 NSVF，它定义了一组体素界限的隐式场，通过稀疏体素八叉树组织，从一组姿态的 RGB 图像中逐步学习底层体素结构，并通过跳过不包含任何相关场景内容的体素来加速渲染新视角，可轻松应用于场景编辑和场景组合。

    Jul, 2020

  • Open-Fusion: 实时开放词汇三维建图与可查询场景表达

    Open-Fusion 是一种实时的、开放词汇的 3D 地图创建方法，利用 RGB-D 数据进行场景重建，并结合预训练的视觉 - 语言模型（VLFM）和 Truncated Signed Distance Function (TSDF) 技术，实现无需额外训练的开放词汇 3D 分割，同时提供实时的场景理解和目标语义。

    Oct, 2023