本文提出了一种3D点云特征学习模型Pointformer，其中使用局部和全局Transformer模块对点云数据进行建模，结合了多尺度特征，以及使用坐标调整模块改善物体提议生成，成功地应用于室内和室外场景下目标检测任务，并取得了显著的性能提升。

Dec, 2020

该论文提出了一种新方法PoinTr，将点云补全问题重新构造为集合对集合翻译问题，并采用Transformer编码器-解码器架构。通过使用定位嵌入在无序点组中表示点云，我们将点云转换为点代理序列，并使用变形器进行点云生成。在点云的局部几何关系中，我们进一步设计了一种几何感知块以更好地利用点云的3D几何结构归纳偏差，使得变形器能够更好地学习结构知识和保留详细信息，从而完善点云。此外，我们提出了两个具有更多不完整点云的具有挑战性的基准测试，以更好地反映现实世界的情况。实证结果表明，我们的方法在新的基准测试和现有基准测试上均优于现有最先进的方法。

Aug, 2021

本文提出了 Stratified Transformer 算法，实现了对于长程依赖的建模，通过关键采样策略提高了机器学习模型的有效感受野，并且结合位置编码增强了性能与收敛速度。实验也证明了该算法在三个数据集上的有效性和优越性。

Mar, 2022

本文首次提供了深入的视角，从多个方面分类当前基于Transformer框架的方法，针对自注意机制的变体和改进进行了探究，并在分类、分割、目标检测等方面进行了综合对比，最后提出了三个潜在的研究方向，为3D Transformers的发展提供了有益参考。

May, 2022

本文提出了一种新的方法，将点云补全问题转化为集合转换问题，并设计了一种名为PoinTr的新模型，采用Transformer编码器-解码器架构进行点云补全。通过将点云表示为带有位置嵌入的无序点组的集合，我们将输入数据转换为点代理的序列，并使用Transformer进行生成。为了更好地利用点云的3D几何结构的归纳偏差，我们进一步设计了一个几何感知块，以显式模拟本地几何关系。我们还进一步提出了AdaPoinTr，并在点云完成期间开发了自适应查询生成机制和新颖的去噪任务，实现了模型的高效和有效训练。我们还展示了我们的方法可以扩展到场景级点云完成方案，并设计了一种新的几何增强语义场景完成框架。我们的方法在现有和新提出的数据集上进行了大量实验证明其有效性，获得了6.53CD的PCN，0.81CD的ShapeNet-55和0.392MMD的真实KITTI，在各种基准测试中均超过了其他工作，并建立了新的技术水平。值得注意的是，AdaPoinTr可以以更高的吞吐量和更少的FLOP实现如此令人满意的性能，而不像以前的最佳方法。

Jan, 2023

FlatFormer是一种3D点云变压器网络，通过交换计算负荷和提取局部特征以实现节省计算时间的效果，在边缘GPU上实现了实时性能，并在大规模基准测试上达到与或甚至更好的准确性。

Jan, 2023

本文提出了基于自我定位的点云Transformer（SPoTr），通过局部自我关注和基于点的全局交叉关注，使用自我定位点考虑空间和语义信息，从而捕捉局部和全局形状上下文，提高表现力，并通过小型自我定位点集计算注意力权重，从而提高了全局注意力的可扩展性。实验表明SPoTr在精确度和可解释性等方面的表现都很好。

Mar, 2023

该研究提出了一种新的三维点云表示网络，称为动态聚类变换网络（DCTNet），它利用编码器-解码器架构来学习全局和局部特征，并提出了新的语义特征动态采样和聚类方法以及一个高效的语义特征引导上采样方法，验证了其在点云分割任务上的性能优于现有的最先进模型。

May, 2023

将局部几何结构和长范围上下文信息耦合进ConDaFormer中，通过将相应的立方体窗口分解为三个正交的2D平面，以在类似范围内建模注意力，提高了性能和模型的计算效率。

Dec, 2023

本文试图利用预训练的2D模型直接处理3D点云数据，并提出了Adaptive PointFormer（APF）模型，通过维度对齐和序列化点嵌入，优化2D注意力先验的利用，以实现对3D点云的分析任务。

Jul, 2024