本研究提出了一种基于 Transformer 的具有区分性的掩码预训练框架 MaskPoint，该框架使用离散的占用值表示点云，通过简单的二元分类来代理掩盖的对象点和采样的噪声点，从而使其具有鲁棒性。该预训练模型在多个下游任务中表现优异，包括 3D 形状分类、分割和真实世界物体检测。

Mar, 2022

通过引入 BERT 到跨模态的环境中，本文提出了一种新的跨模态 BERT 风格的自监督学习范式，称为 Cross-BERT，通过探索相同对象 / 场景的 2D 和 3D 数据之间的隐含语义和几何关系来提高 3D 点云表示的性能，以及 BERT 在不同模态之间的传递能力。

Dec, 2023

提出了 PointGPT 方法来扩展 GPT 模型到点云中进行自回归生成任务的预训练，其通过多个点序列来实现学习潜在的表示，并在各种下游任务中实现了最先进的性能，特别是在 few-shot 学习方面也产生了新的 state-of-the-art 结果。

May, 2023

本文提出一种新颖的掩码自编码点云自监督学习方案，通过划分输入点云为不规则点区块和高比例随机掩码，设计了一种基于 Transformer 的自编码器，该方案在预训练过程中高效并且在各种下游任务中具有很好的泛化能力，包括在少样本物体分类方面表现出色。

Mar, 2022

本文研究了 transformers 在点云领域中通过自监督学习所获得的特性，探讨了其预训练方案的有效性，分析了数据数量对网络特征的影响，提出了一种解冻策略，并在分类任务中取得了最优结果。

Jun, 2023

通过 GLM 的启发，我们提出了一种通用的点云变换器模型（GPM），它在点云表征任务、无条件和有条件的生成任务中都具有通用性，并通过各种形式的掩码填充任务以改善自动编码中的掩码预测，从而在点云理解方面提高了性能。与 Point-BERT、MaskPoint 和 PointMAE 等模型相比，我们的 GPM 在点云理解任务中取得了优越的性能。

Oct, 2023

我们提出了一种新颖的适用于任何点云模型的 3D 到 2D 生成预训练方法，通过交叉注意机制生成来自不同指示姿势的视图图像作为预训练方案，以精确监督帮助 3D 主干更好地理解点云的几何结构和立体关系，实验结果证明了我们提出的方法在提升架构导向方法性能方面的优越性，并在 Fine-tuning ScanObjectNN 分类和 ShapeNetPart 分割任务时实现了最先进的性能。

Jul, 2023

通过使用 3D 到多视图掩码自编码器，充分利用 3D 点云的多模属性，提出了一种全新的方法，这不仅丰富了模型对几何结构的理解，还利用了点云的固有多模性能，有效地改进了各种任务，包括 3D 对象分类、少样本学习、部分分割和 3D 对象检测。

Nov, 2023

本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

Dec, 2021

提出了一种基于局部约束紧凑编码器和局部约束 Mamba 解码器的局部约束紧凑点云模型 (LCM)，它在性能和效率方面显著超越了现有的基于 Transformer 的模型，尤其是在 ScanObjectNN 的三个变体上，相比于基于 Transformer 的模型，在性能上改进了 2.24%、0.87% 和 0.94%，同时减少了 88% 的参数和 73% 的计算。

May, 2024