本文提出了 Stratified Transformer 算法，实现了对于长程依赖的建模，通过关键采样策略提高了机器学习模型的有效感受野，并且结合位置编码增强了性能与收敛速度。实验也证明了该算法在三个数据集上的有效性和优越性。

Mar, 2022

本文首次提供了深入的视角，从多个方面分类当前基于Transformer框架的方法，针对自注意机制的变体和改进进行了探究，并在分类、分割、目标检测等方面进行了综合对比，最后提出了三个潜在的研究方向，为3D Transformers的发展提供了有益参考。

May, 2022

本文探讨如何使用预训练的 2D 知识，通过 Point-to-Pixel Prompting 对预训练的图像模型进行微小调整，以适应于点云分析任务。经过广泛实验，该方法取得了很好的成绩，并在 ScanObjectNN 的最难设置上达到了 89.3% 的准确度。

Aug, 2022

本研究提出一种新的实例感知动态提示调整方法，用于点云预训练模型，该方法有效地降低了存储成本并在许多下游任务中表现出比全微调更好的效果。

Apr, 2023

本研究提出了CDFormer，一种新的利用收集和分布机制的Transformer架构，可对点云的局部和全局结构进行有效学习，并在四个流行的点云数据集上取得了新的最佳分类和分割结果。

Jun, 2023

通过Point-PEFT框架，我们能够在只使用可训练参数的5%的情况下，实现优于完全微调的性能，充分展示了我们方法的高效性和有效性。

Oct, 2023

该论文通过利用规模优势，在点云处理中解决了准确性和效率之间的权衡问题，提出了一种简单高效的Point Transformer V3模型，并在多个室内外场景的20个下游任务中取得了最先进的结果。

Dec, 2023

该研究提出了一种参数高效的提示调优方法（称为PPT），用于适应大型多模态模型的3D点云理解。通过PromptLearner模块和PointAdapter模块，在提高参数效率的同时增强了对3D点云理解的提示调优能力，实验证明了该方法在参数和数据效率方面的优越性。

Feb, 2024

本文试图利用预训练的2D模型直接处理3D点云数据，并提出了Adaptive PointFormer（APF）模型，通过维度对齐和序列化点嵌入，优化2D注意力先验的利用，以实现对3D点云的分析任务。

Jul, 2024

本研究解决了大型3D模型在3D领域泛化能力不足的问题。作者提出了一种新的规制框架，使可学习的提示与大型3D模型中的广泛知识相互作用，从而提高模型的泛化能力和特定任务的3D识别性能。该方法在多个3D领域泛化基准测试中表现出色，并且为该领域开发了三个新的评估基准。

Oct, 2024