Feb, 2023

ConceptFusion: 开放式多模态 3D 地图

PDF
TL;DRConceptFusion 是一种基本的开放式多模态场景表示方法，通过集成预先训练的基础模型的能力，可跨越自然语言、图像和音频等多种模式推理和查询，从而实现零训练空间推理，并在保留长尾概念方面表现比监督方法优异 40% 的跨模态三维映射。
发现论文，激发创造
  • Open-Fusion: 实时开放词汇三维建图与可查询场景表达

    Open-Fusion 是一种实时的、开放词汇的 3D 地图创建方法，利用 RGB-D 数据进行场景重建，并结合预训练的视觉 - 语言模型（VLFM）和 Truncated Signed Distance Function (TSDF) 技术，实现无需额外训练的开放词汇 3D 分割，同时提供实时的场景理解和目标语义。

    Oct, 2023

  • SemanticFusion：基于卷积神经网络的密集 3D 语义地图构建

    使用卷积神经网络和密集同时定位和建图（SLAM）系统来将视觉感知转化为语义映射，实现在室内 RGB-D 视频帧之间的长期稠密对应以及在多个视点上的概率融合，从而生产有用的 3D 语义地图。

    Sep, 2016

  • ConceptGraphs: 开放词汇三维场景图用于感知和规划

    为了使机器人能够执行各种任务，本研究提出了一种名为 ConceptGraphs 的基于图结构的 3D 场景表示方法，通过将 2D 基本模型的输出与多视图关联相结合，不需要收集大型 3D 数据集或微调模型即可实现对新的语义类进行泛化推理，并通过一些需要对空间和语义概念进行复杂推理的后续规划任务来证明这种表示方法的实用性。

    Sep, 2023

  • 文物映射：多模态语义映射用于物体检测和 3D 定位

    提出一个利用多模态传感器融合的方法，能够在一个已知环境中，通过理解该环境搭配环境地图，准确地检测和定位预设物体和障碍物，并相比于单一的传感器能够更准确地检测远处和近处的障碍物。

    Jul, 2023

  • 用于视觉语言导航的开放式 3D 语义实例地图 - O3D-SIM

    人类善于形成心理地图以理解物体关系和通过语言查询导航；此论文通过提出基于 3D 的实例级方法提高语言引导任务的成功率，并在定量和定性结果上获得显著改善。

    Apr, 2024

  • 用于开放式语义分割的多模态原型

    本文提出了一种称为开放式语义分割（O3S）的统一框架，在视觉示例和文本名称中学习已见和未见的语义。我们的流程通过首先进行单模自我增强和聚合，然后进行多模态补充融合来提取用于分割任务的多模态原型。

    Jul, 2023

  • OpenScene: 利用开放式词汇的 3D 场景理解

    使用 OpenScene 和 zero-shot 方法，借助于 CLIP 特征空间将 3D 场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。

    Nov, 2022

  • 面向对象语义地图的有意义地图绘制

    本文讨论了智能机器人如何同时理解环境的几何和语义属性，以构建包含物体级别实体和基于点或网格的几何表示的环境地图。作者的系统结合 RGB-D SLAM、深度学习目标检测和 3D 非监督分割等技术，同时构建几何点云模型和包含这些物体模型的地图。

    Sep, 2016

  • 单目 SLAM 的半稠密三维语义映射

    本论文将最新的深度学习方法与基于视频流的半稠密 SLAM 相结合，在室内 / 室外数据集中得到了更好的 2D 语义标签识别，无需针对序列中的每一帧获得语义分割，其时间复杂度也得以合理控制。

    Nov, 2016

  • FM-Fusion: 基于视觉 - 语言基础模型的实例感知语义映射增强

    基于视觉 - 语言基础模型，本研究提出了一种概率标签融合方法，用于从开放集标签测量中预测闭合集语义类别，以增强基于实例感知的语义映射；通过整合各模块构建一个统一的语义映射系统，并通过 ScanNet 和 SceneNN 数据集评估了方法的零样本性能，取得了显著优于传统方法的 40.3 均值平均精度（mAP）的结果。

    Feb, 2024