Apr, 2024

无实例文本到点云定位与相对位置感知

PDF
TL;DR提出了一种新的模型来解决现有方法的两个主要限制：依赖于地面实例作为输入以及忽视可能实例之间的相对位置，通过文本到点云的跨模态本地化任务，能够在一个城市规模的点云场景中根据少量自然语言指令来定位一个位置。实验结果表明，该模型在 KITTI360Pose 数据集上与最先进的模型相比具有竞争力的性能，同时也不需要使用地面实例作为输入。
text-to-point-cloud cross-modal localizationvision-language taskposition estimationinstance query extractorspatial relations
发现论文，激发创造
  • 关系增强变换器在文本到点云定位中的应用

    本文提出了一种统一的关系增强 Transformer (RET) 方法，通过使用新颖的关系增强自我关注机制和精细的跨模态匹配方法，成功地解决了文本到点云的交叉模态本地化问题，并在 KITTI360Pose 数据集上实现了比以前最先进方法更优异的实验结果。

    Jan, 2023

  • Text2Pos: 文本和点云跨模态定位

    本文提出了一种名为 Text2Pos 的模块，可以通过文本描述来定位物件位置，可为以后基于自然语言的导航奠定基础。

    Mar, 2022

  • Text2Loc：3D 点云定位的自然语言描述方法

    我们提出了一种新型的神经网络 Text2Loc，通过几个自然语言描述实现了基于 3D 点云定位，并完全解释了点与文本之间的语义关系，实现了粗 - 细定位的本地化过程，文本子图全局位置识别中，用分层 Transformer 和最大池化捕获了每个文本提示之间的关系动态，而使用文本子图对比学习保持了正负样本之间的平衡；此外，我们还提出了一种新颖的无匹配精细定位方法，进一步提升了位置预测的准确性，摆脱了复杂的文本实例匹配需求，并且比之前的方法更轻量化、更快速、更准确。大量实验证明，Text2Loc 在 KITTI360Pose 数据集上超过了当前最先进技术，定位准确度提升了 2 倍。我们将公开提供代码。

    Nov, 2023

  • 点云 - 文本匹配：基准数据集与基线

    本文提出和研究了一种新的实例级检索任务：点云 - 文本匹配 （PTM），该任务旨在找到与给定的点云查询或文本查询匹配的确切跨模态实例。我们构建了三个新的 PTM 基准数据集，分别是 3D2T-SR、3D2T-NR 和 3D2T-QA。为了解决这些挑战，我们提出了一种名为 RoMa 的 PTM 基准线方法，它由两个模块组成：双重注意感知模块（DAP）和鲁棒负对比学习模块（RNCL）。我们在我们的基准测试上进行了广泛的实验，并展示了 RoMa 的优越性。

    Mar, 2024

  • 文本和 3D 点云的联合表示学习

    本文提出了一种新型的 Text4Point 框架，通过利用 2D 图像作为连接点云和语言模态的桥梁，建立图像和点云的对应关系，从而通过对比学习将其对齐；并进一步引入文本查询模块，查询点云特征的文本嵌入，将语言信息整合到 3D 表示学习中，提高各种下游任务的性能。

    Jan, 2023

  • InstanceRefer: 基于实例多级语境参考的点云视觉定位合作全面理解

    本文提出了一种名为 InstanceRefer 的模型，该模型利用语言描述实现目标类别预测，从 3D 点云的广义实例分割中筛选出少量实例候选项，利用多级语境推理和多层次特征匹配来实现最相关候选项的选择和定位，从而实现了优越的 3D 视觉定位结果

    Mar, 2021

  • LocNet: 用于移动车辆的 3D 点云全局定位

    该论文提出了一种解决全局定位问题的方法，通过使用基于 Siamese LocNets 的半手工表示学习方法，在全局先验地图中实现了场所识别和尺度姿态估计，并且提出了一个使用仅距离观测的全局定位框架。通过 KITTI 数据集和自主收集的多个数据集的实验结果表明，该系统能够实现高精度的全局定位。

    Dec, 2017

  • PointLoc: LiDAR 点云定位的深度姿态回归器

    本研究提出一种新型的端到端基于学习的 LiDAR 重定位框架，名为 PointLoc，它直接利用单个点云作为输入来推导 6-DoF 位姿，无需预先构建地图。该框架基于 PointNet，使用自我关注机制，能够高效地从 360 度 LiDAR 输入帧估计 6-DoF 位姿，并在实验中表现出较高的重定位精度。

    Mar, 2020

  • CrossPoint: 自监督的跨模态对比学习，用于三维点云理解

    本研究提出了一种名为 CrossPoint 的简单跨模态对比学习方法，通过自监督学习，在不需要人类标注的情况下，实现可转移的三维点云表示，通过最大化点云和相应渲染的二维图像之间的协议，实现了三维物体分类和分割等多项任务，并验证了我们的方法在提高点云理解方面的效果。

    Mar, 2022

  • 语言辅助的 3D 场景理解

    提出了一种通过语言辅助的方法来学习点云特征，使用 LMMs 文本丰富语义概念，通过基于统计的显著特征选择实现去冗余和降低特征维度，进一步分析了文本对点云的对比训练的影响，实验证实所提出的方法在三维语义分割、三维物体检测和三维场景分类任务中学习到了有意义的点云特征，并获得了最先进或可比较的性能。

    Dec, 2023