Oct, 2023

Open-Fusion: 实时开放词汇三维建图与可查询场景表达

PDF
TL;DROpen-Fusion 是一种实时的、开放词汇的 3D 地图创建方法，利用 RGB-D 数据进行场景重建，并结合预训练的视觉 - 语言模型（VLFM）和 Truncated Signed Distance Function (TSDF) 技术，实现无需额外训练的开放词汇 3D 分割，同时提供实时的场景理解和目标语义。
precise 3d environmental mappingopen-fusionreal-time open-vocabulary 3d mappingtruncated signed distance function (tsdf)vision-language foundation model (vlfm)
发现论文，激发创造
  • ConceptFusion: 开放式多模态 3D 地图

    ConceptFusion 是一种基本的开放式多模态场景表示方法，通过集成预先训练的基础模型的能力，可跨越自然语言、图像和音频等多种模式推理和查询，从而实现零训练空间推理，并在保留长尾概念方面表现比监督方法优异 40% 的跨模态三维映射。

    Feb, 2023

  • VisFusion：基于可见性的在线视频三维场景重建

    提出了一种名为 VisFusion 的可见性感知在线 3D 场景重建方法，通过对单目视频进行姿态估计来恢复场景的体量特征，并提出了细节保留的局部稀疏化方法和分层预测 TSDF 的方法，实验结果表明我们的方法能够获得卓越的性能。

    Apr, 2023

  • 利用残差重建 RGB-D 相机动态环境下的三维模型

    本文提出了一种基于 RGB-D 传感器的方法，能够稳定地在包含多个动态元素的场景中进行地图绘制和定位，并在现有数据集上对其进行评估和发布。

    May, 2019

  • OpenScene: 利用开放式词汇的 3D 场景理解

    使用 OpenScene 和 zero-shot 方法，借助于 CLIP 特征空间将 3D 场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。

    Nov, 2022

  • OVIR-3D：在不使用 3D 数据训练的情况下进行开放词汇 3D 实例检索

    通过多视角融合文本对齐的 2D 区域建议，在不使用任何 3D 数据进行训练的情况下，提出了 OVIR-3D 方法，能够根据对象实例和文本查询的特征相似性返回排名的 3D 对象实例分段。经过公共数据集和实际机器人的实验表明了该方法的有效性及其在机器人导航和操作中的潜力。

    Nov, 2023

  • Vox-Fusion: 利用基于体素的神经隐式表示进行密集跟踪和建图

    本文提出了一种名为 Vox-Fusion 的密集跟踪和建图系统，其将神经隐式表示与传统体积融合方法无缝融合。该方法通过采用基于体素的神经隐式表面表示来编码和优化每个体素内部的场景，并采用基于八叉树的结构来划分场景和支持动态扩展，进而实现对任意场景的跟踪和建图。此外，我们提出了一个高性能的多进程框架来加速该方法，从而支持某些需要实时性能的应用。评估结果表明，我们的方法可以实现比先前方法更好的准确性和完整性。我们还展示了我们的 Vox-Fusion 可用于增强现实和虚拟现实应用。

    Oct, 2022

  • SemanticFusion：基于卷积神经网络的密集 3D 语义地图构建

    使用卷积神经网络和密集同时定位和建图（SLAM）系统来将视觉感知转化为语义映射，实现在室内 RGB-D 视频帧之间的长期稠密对应以及在多个视点上的概率融合，从而生产有用的 3D 语义地图。

    Sep, 2016

  • FM-Fusion: 基于视觉 - 语言基础模型的实例感知语义映射增强

    基于视觉 - 语言基础模型，本研究提出了一种概率标签融合方法，用于从开放集标签测量中预测闭合集语义类别，以增强基于实例感知的语义映射；通过整合各模块构建一个统一的语义映射系统，并通过 ScanNet 和 SceneNN 数据集评估了方法的零样本性能，取得了显著优于传统方法的 40.3 均值平均精度（mAP）的结果。

    Feb, 2024

  • POP-3D：基于图像的开放词汇 3D 实占预测

    我们描述了一种预测开放词汇的 3D 语义体素占用图的方法，该方法可实现对自由形式语言查询进行 3D 定位、分割和检索。我们设计了一种新的模型架构，包括 2D-3D 编码器、占用预测和 3D 语言头；开发了一种三模态自监督学习算法，利用图像、语言和 LiDAR 点云三种模态来训练所提出的架构；并在几个开放词汇任务上定量展示了所提出模型的优势。

    Jan, 2024

  • 体积语义一致的三维全景建图

    我们介绍了一种在线的二维到三维语义实例映射算法，旨在生成适用于非结构化环境中的自主代理的全面、准确且高效的语义三维地图。该方法基于最近算法中使用的 Voxel-TSDF 表示，引入了在映射过程中集成语义预测置信度的新方法，产生了语义和实例一致的三维区域。通过基于图优化的语义标记和实例细化，进一步提高了准确性。该方法在公共大规模数据集上的准确性优于现有技术，改进了一些广泛使用的度量标准。我们还指出了最近研究评估中的一个问题：使用真实轨迹作为输入而不是 SLAM 估计的轨迹，这对准确性产生了重大影响，导致了报告结果与实际在实际数据上的性能之间存在很大差距。

    Sep, 2023