Sep, 2023

语言扩展室内 SLAM（LEXIS）：实时视觉场景理解的多功能系统

PDF
TL;DRLEXIS 是一种实时室内同时定位与地图构建系统，通过利用大规模语言模型的开放词汇特性，实现了场景理解和地点识别的统一方法。该系统通过建立环境的拓扑 SLAM 图，并将 CONTRASTIVE LANGUAGE-IMAGE PRETRAINING（CLIP）特征嵌入图节点，实现了灵活的房间分类和划分，并在房间为中心的地点识别方面取得了优于最先进技术的性能。
发现论文，激发创造
  • 基于学习的语义地图构建与鲁棒摄像机定位

    介绍了一种使用语义特征的视觉惯性里程计系统 SemanticSLAM，可以在室内环境中进行可靠的相机定位，改善位姿估计并生成语义地图，可用于路径规划、避障和机器人导航等下游任务。

    Jan, 2024

  • 一种在线语义映射系统，用于扩展与增强视觉 SLAM

    本文提出了一种移动视觉系统的实时语义地图构建方法，采用 2D 到 3D 对象检测流程和快速数据关联，将关联检测作为语义约束引入 SLAM 系统进行姿态校正，通过本文提出的观测对象局部关联处理和基于不确定性贪心关联的方案，平均迭代时间达到了 65ms，实验结果表明在公共数据集上能够使现有的 SLAM 系统姿态估计提高 68％。

    Mar, 2022

  • 宽区域施工环境室内制图的 SLAM

    在工厂大厅这样的复杂环境中，利用四个立体摄像头和一个三维激光扫描仪，应用最先进的激光雷达和视觉 SLAM 方法，进行数据收集、轨迹估计和密集地图生成，并生成精确的深度图用于自动建筑和现场监测。

    Apr, 2024

  • LOSS-SLAM: 轻量级开放集合语义同时定位与地图构建

    基于对象的开放式语义定位与映射（SLAM）系统通过紧密耦合的概率图模型来识别、定位和编码对象，以实现更准确的 SLAM，并承担较低的计算开销。

    Apr, 2024

  • SymboSLAM：多智能体系统中的语义地图生成

    该论文提出了一种通过符号化同时定位与建图（SymboSLAM）来解决环境类型分类问题的新方法，以弥补人机交互空间中解决方案透明性被忽视的领域。通过对环境中的特征进行本体推理，我们的分类方法能够合成环境的上下文，并通过带有语义标记的地标和特征的占据地图为操作员提供可解释性的模型。我们使用坎培拉地区的真实地图进行了方法有效性的评估，通过模拟和实际试验对系统进行了评估。

    Mar, 2024

  • 利用大型语言模型进行机器人三维场景理解

    探讨使用大量语言模型来实现场景理解的常识；介绍了三种利用语言对包含对象的室内环境进行分类的范例：（i）零样本方法，（ii）前馈分类器方法和（iii）对比分类器方法，在现代空间感知系统生成的 3D 场景图上进行操作，并通过分析每种途径，展示了显着的零样本泛化和转移能力；最后，展示了这些方法也适用于推断包含房间的建筑标签，并在真实环境中展示了零样本方法。

    Sep, 2022

  • 开放词汇的空间 - 语义表示的组合语义学

    我们提出了潜在的组合语义嵌入 z * 作为查询空间语义记忆的基于学习的知识表示，并且证明了 z * 可以通过梯度下降的迭代优化被发现。我们通过实验证明了 z * 能够表示由 SBERT 编码的多达 10 个语义和理想均匀分布的高维嵌入的多达 100 个语义，同时展示了在 COCO-Stuff 数据集上针对 181 个重叠语义，经过密集 VLM 训练的 z * 具有 42.23 的 mIoU，相比于流行的 SOTA 模型改进了 3.48 的 mIoU 的传统非重叠开放词汇分割性能。

    Oct, 2023

  • 我们准备好了吗？用于终身 SLAM 的 OpenLORIS-Scene 数据集的服务机器人？

    本文介绍服务机器人在长期不断变化的环境下进行自主操作的问题，提出了 “终身 SLAM” 这一概念，并设计了基准测试度量方法和数据集以促进终身 SLAM 研究。

    Nov, 2019

  • 基于语言增强的空间本体论的室内外三维场景图生成

    该论文提出了一种在任意环境（室内和室外）中构建 3D 场景图的方法。为了解决室内和室外环境的概念层次复杂性和训练数据不足的挑战，提出了构建空间本体和使用逻辑张量网络构建 3D 场景图的两个新扩展。通过使用大型语言模型构建空间本体，从而大大减少手动工作量；并利用逻辑张量网络添加逻辑规则或公理，提供附加的监督信号，减少标记数据的需求，并在训练时允许预测未见过的概念。在多个数据集上测试表明，该方法显著提高了使用稀疏注释数据生成 3D 场景图的质量。

    Dec, 2023

  • SuMa++：高效 LiDAR 语义 SLAM

    本文提出了一种基于三维激光雷达测距扫描和神经网络对语义信息进行提取的建图及定位方法，实现了对运动物体的有效滤波和语义信息约束下的扫描匹配，与现有基于几何约束的方法相比，实验结果表明其性能更优。

    May, 2021