Nov, 2023

Text2Loc：3D 点云定位的自然语言描述方法

PDF
TL;DR我们提出了一种新型的神经网络 Text2Loc，通过几个自然语言描述实现了基于 3D 点云定位，并完全解释了点与文本之间的语义关系，实现了粗 - 细定位的本地化过程，文本子图全局位置识别中，用分层 Transformer 和最大池化捕获了每个文本提示之间的关系动态，而使用文本子图对比学习保持了正负样本之间的平衡；此外，我们还提出了一种新颖的无匹配精细定位方法，进一步提升了位置预测的准确性，摆脱了复杂的文本实例匹配需求，并且比之前的方法更轻量化、更快速、更准确。大量实验证明，Text2Loc 在 KITTI360Pose 数据集上超过了当前最先进技术，定位准确度提升了 2 倍。我们将公开提供代码。
发现论文，激发创造
  • Text2Pos: 文本和点云跨模态定位

    本文提出了一种名为 Text2Pos 的模块，可以通过文本描述来定位物件位置，可为以后基于自然语言的导航奠定基础。

    Mar, 2022

  • 无实例文本到点云定位与相对位置感知

    提出了一种新的模型来解决现有方法的两个主要限制：依赖于地面实例作为输入以及忽视可能实例之间的相对位置，通过文本到点云的跨模态本地化任务，能够在一个城市规模的点云场景中根据少量自然语言指令来定位一个位置。实验结果表明，该模型在 KITTI360Pose 数据集上与最先进的模型相比具有竞争力的性能，同时也不需要使用地面实例作为输入。

    Apr, 2024

  • 关系增强变换器在文本到点云定位中的应用

    本文提出了一种统一的关系增强 Transformer (RET) 方法，通过使用新颖的关系增强自我关注机制和精细的跨模态匹配方法，成功地解决了文本到点云的交叉模态本地化问题，并在 KITTI360Pose 数据集上实现了比以前最先进方法更优异的实验结果。

    Jan, 2023

  • LocNet: 用于移动车辆的 3D 点云全局定位

    该论文提出了一种解决全局定位问题的方法，通过使用基于 Siamese LocNets 的半手工表示学习方法，在全局先验地图中实现了场所识别和尺度姿态估计，并且提出了一个使用仅距离观测的全局定位框架。通过 KITTI 数据集和自主收集的多个数据集的实验结果表明，该系统能够实现高精度的全局定位。

    Dec, 2017

  • 文本和 3D 点云的联合表示学习

    本文提出了一种新型的 Text4Point 框架，通过利用 2D 图像作为连接点云和语言模态的桥梁，建立图像和点云的对应关系，从而通过对比学习将其对齐；并进一步引入文本查询模块，查询点云特征的文本嵌入，将语言信息整合到 3D 表示学习中，提高各种下游任务的性能。

    Jan, 2023

  • Img2Loc: 通过多模态基础模型和基于图像检索增强的生成，重新审视图像地理定位

    Img2Loc 是一个采用 GPT4V 或 LLaVA 等大型多模态模型进行检索增强生成的创新系统，通过重新定义图像地理定位作为文本生成任务，它不仅在 Im2GPS3k 和 YFCC4k 等基准数据集上超过了先前最先进的模型的性能，而且在没有任何模型训练的情况下做到了这一点。

    Mar, 2024

  • 点云 - 文本匹配：基准数据集与基线

    本文提出和研究了一种新的实例级检索任务：点云 - 文本匹配 （PTM），该任务旨在找到与给定的点云查询或文本查询匹配的确切跨模态实例。我们构建了三个新的 PTM 基准数据集，分别是 3D2T-SR、3D2T-NR 和 3D2T-QA。为了解决这些挑战，我们提出了一种名为 RoMa 的 PTM 基准线方法，它由两个模块组成：双重注意感知模块（DAP）和鲁棒负对比学习模块（RNCL）。我们在我们的基准测试上进行了广泛的实验，并展示了 RoMa 的优越性。

    Mar, 2024

  • 朝着自然语言引导的无人机：带有空间关系匹配的 GeoText-1652 基准

    无人机通过自然语言命令导航仍然是一个重要的挑战，该研究通过 GeoText-1652 数据集和空间关系匹配的优化目标，展示了利用自然语言命令提升无人机控制和导航的潜力。

    Nov, 2023

  • LocTex: 从本地文本监督中学习数据高效视觉表征

    本文提出了一种名为 LocTex 的计算机视觉方法，它利用了低成本的本地化文本标注和鼠标轨迹，通过对图像和标题的对比预训练和监督跨模态关注图，从而提供粗略的本地化信号，从而减少标注数据的数量。它学习到的视觉特征可以捕捉自由形式的标题的丰富语义和鼠标轨迹的准确本地化，可以转移到各种下游视觉任务中，并且比 ImageNet 的监督预训练方法可以将预训练数据集的大小缩小 10 倍或目标数据集的大小缩小 2 倍，同时在 COCO 实例分割上实现可比较甚至更高的性能。在拥有相同数量的注释的情况下，LocTex 在 PASCAL VOC 图像分类任务上比以前最先进的 “视觉 + 语言” 预训练方法提高了约 4% 的准确性。

    Aug, 2021

  • InstanceRefer: 基于实例多级语境参考的点云视觉定位合作全面理解

    本文提出了一种名为 InstanceRefer 的模型，该模型利用语言描述实现目标类别预测，从 3D 点云的广义实例分割中筛选出少量实例候选项，利用多级语境推理和多层次特征匹配来实现最相关候选项的选择和定位，从而实现了优越的 3D 视觉定位结果

    Mar, 2021