本文提出了 Stratified Transformer 算法，实现了对于长程依赖的建模，通过关键采样策略提高了机器学习模型的有效感受野，并且结合位置编码增强了性能与收敛速度。实验也证明了该算法在三个数据集上的有效性和优越性。

Mar, 2022

将局部几何结构和长范围上下文信息耦合进 ConDaFormer 中，通过将相应的立方体窗口分解为三个正交的 2D 平面，以在类似范围内建模注意力，提高了性能和模型的计算效率。

Dec, 2023

本文提出了一种新颖的点云表示学习架构，称为 Dual Transformer Network (DTNet)，该架构主要包括一个 Dual Point Cloud Transformer (DPCT) 模块，该模块通过同时聚合点和通道的多头注意力机制，从位置和通道的语义角度捕获更丰富的上下文依赖性，有效地实现了三维点云分类和分割任务中的终端到终端分析。

Apr, 2021

本文提出了一种 3D 点云特征学习模型 Pointformer，其中使用局部和全局 Transformer 模块对点云数据进行建模，结合了多尺度特征，以及使用坐标调整模块改善物体提议生成，成功地应用于室内和室外场景下目标检测任务，并取得了显著的性能提升。

Dec, 2020

本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

Dec, 2021

本文提出了一种基于中心点的变换网络 ——CenterFormer，它使用查询嵌入来聚合中心候选点的特征向量，并设计了一种通过交叉注意力来融合多帧特征的方法。在 Waymo Open 数据集上，CenterFormer 在单个模型上实现了先进水平，取得了 73.7% 的验证集和 75.6% 的测试集 mAPH, 显著优于以前所有已发表的基于 CNN 和 transformer 的方法。

Sep, 2022

本文提出了基于自我定位的点云 Transformer（SPoTr），通过局部自我关注和基于点的全局交叉关注，使用自我定位点考虑空间和语义信息，从而捕捉局部和全局形状上下文，提高表现力，并通过小型自我定位点集计算注意力权重，从而提高了全局注意力的可扩展性。实验表明 SPoTr 在精确度和可解释性等方面的表现都很好。

Mar, 2023

本文提出了一种基于 Point Cross-Attention Transformer 的新型端到端网络结构，将多尺度特征通过两个不同的跨注意力变换器分支进行组合，并引入一种有效的形状分类模型，通过计算不同分支的单类标记与注意图来减少计算负担，实验表明该方法在形状分类，部分分割和语义分割任务中表现优异。

Apr, 2023

本文提出了一种基于 transformer 架构的特征融合网络，以解决 3D 目标跟踪中的关键问题。该网络利用自注意机制捕捉点云中不同区域之间的相互关系，并使用交叉注意力将目标提示信息融入特征中，从而提高相似度计算的效率。在 KITTI 数据集上的实验结果表明，该方法取得了最新的最佳表现。

Oct, 2021

该研究提出了一种新的三维点云表示网络，称为动态聚类变换网络（DCTNet），它利用编码器 - 解码器架构来学习全局和局部特征，并提出了新的语义特征动态采样和聚类方法以及一个高效的语义特征引导上采样方法，验证了其在点云分割任务上的性能优于现有的最先进模型。

May, 2023