提出了一种新的模型来解决现有方法的两个主要限制：依赖于地面实例作为输入以及忽视可能实例之间的相对位置，通过文本到点云的跨模态本地化任务，能够在一个城市规模的点云场景中根据少量自然语言指令来定位一个位置。实验结果表明，该模型在 KITTI360Pose 数据集上与最先进的模型相比具有竞争力的性能，同时也不需要使用地面实例作为输入。

Apr, 2024

本文提出了一种名为 Text2Pos 的模块，可以通过文本描述来定位物件位置，可为以后基于自然语言的导航奠定基础。

Mar, 2022

我们提出了一种新型的神经网络 Text2Loc，通过几个自然语言描述实现了基于 3D 点云定位，并完全解释了点与文本之间的语义关系，实现了粗 - 细定位的本地化过程，文本子图全局位置识别中，用分层 Transformer 和最大池化捕获了每个文本提示之间的关系动态，而使用文本子图对比学习保持了正负样本之间的平衡；此外，我们还提出了一种新颖的无匹配精细定位方法，进一步提升了位置预测的准确性，摆脱了复杂的文本实例匹配需求，并且比之前的方法更轻量化、更快速、更准确。大量实验证明，Text2Loc 在 KITTI360Pose 数据集上超过了当前最先进技术，定位准确度提升了 2 倍。我们将公开提供代码。

Nov, 2023

本文提出了一种新型的 Text4Point 框架，通过利用 2D 图像作为连接点云和语言模态的桥梁，建立图像和点云的对应关系，从而通过对比学习将其对齐；并进一步引入文本查询模块，查询点云特征的文本嵌入，将语言信息整合到 3D 表示学习中，提高各种下游任务的性能。

Jan, 2023

本文提出了一种统一的关系增强 Transformer (RET) 方法，通过使用新颖的关系增强自我关注机制和精细的跨模态匹配方法，成功地解决了文本到点云的交叉模态本地化问题，并在 KITTI360Pose 数据集上实现了比以前最先进方法更优异的实验结果。

Jan, 2023

本研究提出了一种名为 2D3D-MatchNet 的深度网络结构，能够直接从图像和点云中的 2D 和 3D 关键点描述符中匹配和建立 2D-3D 对应关系，并用于视觉位姿估计，结果表明该方法是可行的。

Apr, 2019

提出了一种通过语言辅助的方法来学习点云特征，使用 LMMs 文本丰富语义概念，通过基于统计的显著特征选择实现去冗余和降低特征维度，进一步分析了文本对点云的对比训练的影响，实验证实所提出的方法在三维语义分割、三维物体检测和三维场景分类任务中学习到了有意义的点云特征，并获得了最先进或可比较的性能。

Dec, 2023

PointLLM 是一个基于大型语言模型的初步努力，旨在填补 LLMs 在 3D 理解领域的不足，通过处理彩色对象点云并生成合适的回应展示其对点云和常识的掌握；采用两阶段的训练策略，先进行潜空间对齐再进行语言调优，从而构建了一个评估点云感知能力和通用性能力的基准，实验结果表明 PointLLM 在现有的 2D 基线上展现出更好的表现。

Aug, 2023

无人机通过自然语言命令导航仍然是一个重要的挑战，该研究通过 GeoText-1652 数据集和空间关系匹配的优化目标，展示了利用自然语言命令提升无人机控制和导航的潜力。

Nov, 2023

采用 2D3D-MATR 方法，我们提出了一种无需检测的方法，用于图像和点云之间的准确且鲁棒的配准。该方法在粗匹配的基础上，通过学习全局上下文约束和跨模态相关性，通过 transformer 实现多尺度金字塔和图像块焦点学习，解决了尺度不确定性问题，从而获得了比之前的最优模型 P2-Net 更高的配准率和稳定度。

Aug, 2023