本文提出了针对 LiDAR 数据的新型自动驾驶车辆的语义分割算法 PolarNet，通过極坐标系间接对齐分割网络的注意力，解决了点云分布不均等问题。在三个不同的真实城市 LiDAR 单次扫描数据集中，该编码方案显著提高了平均交并比，同时保持了接近实时的吞吐量。

Mar, 2020

本文提出了一种新型的 Text4Point 框架，通过利用 2D 图像作为连接点云和语言模态的桥梁，建立图像和点云的对应关系，从而通过对比学习将其对齐；并进一步引入文本查询模块，查询点云特征的文本嵌入，将语言信息整合到 3D 表示学习中，提高各种下游任务的性能。

Jan, 2023

提出了一种名为 Panoptic-PolarNet 的快速而强健的 LiDAR 点云全景分割框架，使用极坐标鸟瞰图表示进行语义分割和类无关实例聚类，以解决城市街景中实例的遮挡问题，实验结果表明 Panoptic-PolarNet 在 benchmark 数据集上表现优异。

Mar, 2021

本文介绍了一种算法，通过深度神经网络学习将点云、自然语言和操作轨迹数据嵌入到共享的嵌入空间，并应用于机器人操作中，取得了较高的精度和推理时间改善。

Sep, 2015

通过对 RGB-D 和基于点云的视觉控制策略进行实验，我们发现明确编码点云的策略在可视条件变化下显著更加稳健，同时我们提出的点云世界模型（PCWM）在训练过程中大幅提升样本效率，这些结果表明通过点云对三维场景进行推理可以改善性能、缩短学习时间并提高机器学习算法的稳健性。

Apr, 2024

PointLLM 是一个基于大型语言模型的初步努力，旨在填补 LLMs 在 3D 理解领域的不足，通过处理彩色对象点云并生成合适的回应展示其对点云和常识的掌握；采用两阶段的训练策略，先进行潜空间对齐再进行语言调优，从而构建了一个评估点云感知能力和通用性能力的基准，实验结果表明 PointLLM 在现有的 2D 基线上展现出更好的表现。

Aug, 2023

提出了一种基于图结构和神经网络的方法，能够同时实现旋转、平移、缩放的不变性以及点云稀疏程度的稳健性，此方法在模型识别与检索任务方面，其性能可显著提高。

Feb, 2020

提出了一种通过语言辅助的方法来学习点云特征，使用 LMMs 文本丰富语义概念，通过基于统计的显著特征选择实现去冗余和降低特征维度，进一步分析了文本对点云的对比训练的影响，实验证实所提出的方法在三维语义分割、三维物体检测和三维场景分类任务中学习到了有意义的点云特征，并获得了最先进或可比较的性能。

Dec, 2023

VoxelNet 是一种针对点云图像检测的深度网络，可以将点云分割成等间距的三维体素，并通过新引入的体素特征编码层将每组点转换为统一的特征表示，从而生成描述性的体积表示，并连接 RPN 以生成检测。

Nov, 2017

我们介绍了一个自动的合成数据生成流水线，用于调整机器人领域和需求中的视觉语言模型，并通过该流水线训练了 RoboPoint，该模型可以根据语言指令预测图像关键点的可行性。与其他方法相比，我们的方法无需真实世界数据收集或人类示范，使得它在适应多样环境和视点方面具有更大的可扩展性。此外，RoboPoint 是一个通用模型，可以用于机器人导航、操作和增强现实（AR）辅助等多个下游应用。我们的实验证明，RoboPoint 在预测空间可行性的准确性上比最先进的 VLMs（GPT-4o）和视觉提示技术（PIVOT）提高了 21.8％，在下游任务的成功率上提高了 30.5％。

Jun, 2024