本文提出了 PointCMP 的对比度掩膜预测框架，用于自我监督学习点云视频，实现了同时学习局部和全局位相信息，并通过互相相似的数据增强模块生成艰难的样本。实验表明，PointCMP 实现了基准数据集上的最先进性能，并优于现有的全面监督对应。传递学习结果证明了学习表示在不同数据集和任务之间具有优越性。

May, 2023

本文介绍了一种基于几何特征重建的点云表示学习框架，其中包括三个点云专有的自监督学习目标，即质心预测、表面法线估计和曲率预测。该框架采用自监督学习方法，创造有意义的任务，相互促进模型更好地推理点云的精细几何结构。通过训练后，该模型在物体检测、分割和多目标跟踪等任务上均实现了显著的表现提升。

May, 2023

本文介绍了 Masked Shape Prediction (MSP) 框架，它使用 3D 语义提示来预测掩码点，并引入了明确的形状上下文和隐式深度形状特征来帮助利用形状预测中的上下文提示。实验表明 MSP 可以提高下游任务的性能表现。

May, 2023

我们提出了一个统一的点云视频自监督学习框架，用于面向对象和面向场景的数据。通过在点级别进行对比学习，我们的方法能够捕捉到细粒度语义。同时，我们引入了一个新的预训练任务，通过实现超点的语义对齐来进一步提高表示能力。此外，为了解决动态点云时间维度的高冗余性问题，我们提出了一种选择策略来保留适当的负样本，并利用其他实例中的高相似样本作为正样本的补充。大量实验证明我们的方法在各种下游任务上优于有监督对应方法，并展示了学到的表示的卓越可迁移性。

Aug, 2023

本文旨在提出一种自监督视频表示学习的新型先验任务，通过计算一系列时空统计摘要信息，利用神经网络训练来产生摘要信息，采用多种空间分区模式进行粗略的空间位置编码方法来缓解学习难度，在四个 3D 骨干网络上的实验结果表明，该方法优于现有方法在视频分析任务上的性能表现包括动作识别、视频检索、动态场景识别和动作相似性标签。

Aug, 2020

无标签 LiDAR 点云的自监督运动预测方法证明在运动行为感知、自动驾驶等领域中表现出显著的优势。

Mar, 2024

本研究提出了一种基于 Transformer 的具有区分性的掩码预训练框架 MaskPoint，该框架使用离散的占用值表示点云，通过简单的二元分类来代理掩盖的对象点和采样的噪声点，从而使其具有鲁棒性。该预训练模型在多个下游任务中表现优异，包括 3D 形状分类、分割和真实世界物体检测。

Mar, 2022

通过自编码器预训练并采用使用基于注意力机制的解码器，本文在点云分析任务中表现优异，提高了点位置重建的不必要性，并还原了遮挡点的基础功能特征，包括表面法线和表面变化。

Apr, 2023

本文提出了一种用于 3D 动作识别的 Masked Motion Prediction（MAMP）框架，通过对蒙面的空间 - 时间骨骼序列进行预测，实现对丰富语义区域的更好关注，进而提高自监督预训练的性能。经过对 NTU-60、NTU-120 和 PKU-MMD 数据集的广泛实验，表明所提出的 MAMP 预训练方法显著提高了基础的 transformer 模型的性能，并取得了最先进的结果。MAMP 的源代码可以在给定的网址上找到。

Aug, 2023

本文介绍了一种利用自监督学习学习无标签 3D 点云的时空表示学习 (STRL) 框架，通过从 3D 数据中获得富含的时空线索来应对 3D 情景理解任务中预训练模型泛化性差的困境，实验证明该方法能显著提高 3D 点云中的表示学习性能。

Sep, 2021