本研究提出一种名为 X-Trans2Cap 的 3D 密集字幕生成模型，通过跨模态知识转移实现对单模态 3D 字幕生成性能的有效提升，该模型使用 Transformer，并采用师生框架来构建。在实验中，通过对特征进行对齐和融合，提出的方法不仅能够快速地获取 2D 图像中的丰富且嵌入式的外观信息，而且能够在仅仅使用点云作为输入时生成更加忠实的描述性字幕。定性和定量结果证实，X-Trans2Cap 在 ScanRefer 和 Nr3D 数据集上的性能优于现有的最先进水平，分别提高了约 + 21 和约 + 16 absolute CIDEr 分数。

Mar, 2022

通过 Vision-Language Models Goes 4D (VG4D) 框架，我们将 VLM 知识从视觉 - 文本预训练模型转移到 4D 点云网络中，实现了增强的识别性能。我们还提出了改进的 PSTNet 版本 im-PSTNet 来增强 4D 编码器，并通过实验证明了我们方法在动作识别方面达到了最先进的性能。

Apr, 2024

通过整合 LiDAR 和图像数据，4D-Former 方法在 4D 全景分割任务上取得了最先进的结果，能够为 LiDAR 序列中的每个点分配语义类别标签和进行对象分割，并能在时间上保持一致的对象分割遮罩。

Nov, 2023

本文提出了一种新型的 Text4Point 框架，通过利用 2D 图像作为连接点云和语言模态的桥梁，建立图像和点云的对应关系，从而通过对比学习将其对齐；并进一步引入文本查询模块，查询点云特征的文本嵌入，将语言信息整合到 3D 表示学习中，提高各种下游任务的性能。

Jan, 2023

基于最近提出的状态空间模型（SSMs）的新型 4D 点云视频理解骨干网络，通过解开原始 4D 序列中的空间和时间，使用新开发的 Intra-frame Spatial Mamba 和 Inter-frame Temporal Mamba 模块建立了点云视频内部和帧间的时空关联，并在人体动作识别和 4D 语义分割任务上证明了该方法的优越性。

May, 2024

通过探索图像和点云之间的关系并设计有效的特征对齐策略，我们提出了一种新颖的方法来解决具有挑战性的跨模态和跨域自适应任务，在没有任何 3D 标签的情况下，我们的方法利用 KITTI360 和 GTA5 的知识，在 SemanticKITTI 上达到了 3D 点云语义分割的最先进性能，相比现有的无监督和弱监督基准。

Sep, 2023

NSM4D 是一种在线的 4D 感知范式，能够有效处理 4D 点云序列的几何和动态信息，并在室内外场景中实现在线感知能力的显著提升。

Oct, 2023

本文提出了一种统一、简单、有效的模型 OneFormer3D，利用可学习的卷积核同时处理实例分割和语义分割，通过输入统一的实例和语义查询来训练，并在 ScanNet 测试排行榜中取得了第一名和新的最佳性能，同时在 ScanNet、ScanNet200 和 S3DIS 数据集上展示了最领先的语义、实例和全景分割结果。

Nov, 2023

4D-Net 是一种使用 3D 点云和 RGB 感知信息，利用动态连接学习和几何约束来进行三维物体检测的方法。在 Waymo Open Dataset 上，相较于现有方法和强基线，其利用运动线索和密集图像信息更能成功检测到远处的物体。

Sep, 2021

这篇论文提出了使用多视角视频进行无监督 4D 视觉场景理解的方法，可以同时估计每个像素的具体模型和实例级别分割，并利用最近的 3D 姿势估计技术约束联合语义实例分割和 4D 时间上连贯的重建，以能够精准地分割多个动态场景中相互作用的人，实验表明与现有方法相比，语义分割、重建和场景流的准确性都显著提高了大约 40%。

Jul, 2019