Apr, 2024

O2V-Mapping：基于神经隐性表示的在线开放词汇映射

PDF
TL;DRO2V-mapping utilizes voxel-based language and geometric features to achieve online construction of open-vocabulary language scenes, overcoming challenges such as lack of local scene updating ability, blurry spatial hierarchical semantic segmentation, and difficulty in maintaining multi-view consistency.
online constructionopen-vocabulary scene understandingneural implicit mappinghierarchical semantic segmentationmulti-view consistency
发现论文，激发创造
  • 基于语言的机器人导航的分层开放词汇三维场景图

    本研究致力于解决大规模环境下对象层次之外的抽象查询对于基于语言引导的机器人导航的难题，通过构建一个层次化的开放词汇三维场景图映射方法（HOV-SG），将先进的开放词汇分割级别地图与自由导航相结合，并在覆盖面积上实现了大小的减少，并且在物体、房间和楼层级别上产生了超过之前基线的开放词汇语义准确度。

    Mar, 2024

  • OVO: 开放词汇占用

    本文提出了 Open Vocabulary Occupancy (OVO) 算法，通过知识蒸馏和像素 - 体素筛选两个关键步骤，可以对任意类别进行语义占据的预测，同时适用于大多数最先进的语义占据预测模型。在 NYUv2 和 SemanticKITTI 数据集上，OVO 与有监督的方法相比具有竞争性的性能。

    May, 2023

  • 在未知的动态环境中使用三维语义地图进行开放词汇的移动操作

    在未知和动态环境中，建立并理解空间语义上下文的移动机器人操作任务通过零样本检测和基于视觉 - 语言模型的密集三维实体重建，利用大型语言模型进行空间区域抽象和在线规划，并通过演示在实际机器人实验中取得较高的导航和任务成功率以及基线模型相比更好的成功率和性能，证明了这种新的框架的有效性。

    Jun, 2024

  • OpenOcc：基于占据表示的开放词汇量三维场景重建

    我们提出了 OpenOcc，一种将 3D 场景重建和开放词汇理解与神经辐射场结合的新型框架。通过占位表示法对场景的几何结构进行建模，并通过体素渲染将预训练的开放词汇模型蒸馏为 3D 语言场，以实现零 - shot 推理。此外，我们提出了一种新颖的语义感知置信度传播（SCP）方法，以缓解由于蒸馏特征中不一致测量而引起的语言场表示退化问题。实验证明，我们的方法在 3D 场景理解任务中取得了有竞争力的性能，特别是对于小物体和长尾物体。

    Mar, 2024

  • 用于视觉语言导航的开放式 3D 语义实例地图 - O3D-SIM

    人类善于形成心理地图以理解物体关系和通过语言查询导航；此论文通过提出基于 3D 的实例级方法提高语言引导任务的成功率，并在定量和定性结果上获得显著改善。

    Apr, 2024

  • 基于上下文感知的实体定位和开放词汇 3D 场景图

    我们介绍了一种开放词汇的 3D 场景图（OVSG），它是一个形式化的框架，用于将各种实体，如物体实例、代理和区域，与自由文本查询进行关联。与传统的基于语义的物体定位方法不同，我们的系统支持上下文感知的实体定位，允许查询，如 ' 在厨房桌子上拿起一个杯子 ' 或' 导航到一个有人坐在上面的沙发 '。与现有的 3D 场景图研究相比，OVSG 支持自由文本输入和开放词汇查询。通过使用 ScanNet 数据集和自采集数据集进行的一系列比较实验证明，我们提出的方法明显超越了以前基于语义的定位技术的性能。此外，我们突出了 OVSG 在真实世界的机器人导航和操作实验中的实际应用。

    Sep, 2023

  • OV-VG：开放词汇视觉定位基准

    本研究的关键词是开放式词汇学习、视觉定位、新概念、语言描述和对象检测。通过引入新颖和具有挑战性的任务，即开放式视觉定位与开放式短语定位，这项研究的目标是在语言描述和新对象的定位之间建立联系。我们提出了一种新的框架来加强对新类别的识别，并增强视觉和语言信息之间的对齐。经过广泛的实验验证，我们的提议框架在开放式视觉定位任务上始终达到了最先进的性能。

    Oct, 2023

  • POP-3D：基于图像的开放词汇 3D 实占预测

    我们描述了一种预测开放词汇的 3D 语义体素占用图的方法，该方法可实现对自由形式语言查询进行 3D 定位、分割和检索。我们设计了一种新的模型架构，包括 2D-3D 编码器、占用预测和 3D 语言头；开发了一种三模态自监督学习算法，利用图像、语言和 LiDAR 点云三种模态来训练所提出的架构；并在几个开放词汇任务上定量展示了所提出模型的优势。

    Jan, 2024

  • Open-Fusion: 实时开放词汇三维建图与可查询场景表达

    Open-Fusion 是一种实时的、开放词汇的 3D 地图创建方法，利用 RGB-D 数据进行场景重建，并结合预训练的视觉 - 语言模型（VLFM）和 Truncated Signed Distance Function (TSDF) 技术，实现无需额外训练的开放词汇 3D 分割，同时提供实时的场景理解和目标语义。

    Oct, 2023

  • PLA: 基于自然语言的开放词汇三维场景理解

    通过对具有语义丰富标题的多视图图像进行记录，来设计分层三维标题对，使用对比学习，学习与图像相连的语言感知嵌入，并在开放词汇语义和实例分割方面表现出卓越的性能，具有鲁棒的可迁移性。

    Nov, 2022