本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

Dec, 2021

该研究介绍了一种名为 Point Transformer 的神经网络，它直接处理无序和无结构的点集，通过引入局部 - 全局注意机制获取局部和全局特征，并通过引入 SortNet 确保输入置换不变性。Point Transformer 的输出是一个排序并且置换不变的特征列表，可直接用于常见的计算机视觉应用。研究结果表明，与先前的工作相比，其在标准分类和部分分割基准测试中具有有竞争力的结果。

Nov, 2020

本文提出了一种基于 Point Cross-Attention Transformer 的新型端到端网络结构，将多尺度特征通过两个不同的跨注意力变换器分支进行组合，并引入一种有效的形状分类模型，通过计算不同分支的单类标记与注意图来减少计算负担，实验表明该方法在形状分类，部分分割和语义分割任务中表现优异。

Apr, 2023

使用 Transformer 从带有噪声和密度变化的点云中准确预测法线，在合成形状数据集 PCPNet 和真实世界室内场景数据集 SceneNN 上实现了最先进的性能，表现出更强的抗噪性和显著更快的推理速度，同时证明了现有工作中的复杂手工设计模块在表面法线估计任务中并非必需。

Jan, 2024

该论文提出了一种新的端到端方法来直接预测配准操作中的对应点，利用 transformer 网络结构中的自注意力和交叉注意力机制来替代传统的特征匹配和 RANSAC 算法，该方法在 3DMatch 和 ModelNet 基准上均取得了最先进的成绩。

Mar, 2022

本篇文章提出了一种特定于医用点云的基于注意力机制的 3D 医用点云 Transformer (3DMedPT) 模型，通过增加上下文信息和在查询时总结局部响应，可以捕捉局部和全局特征交互，同时应用位置嵌入学习准确的局部几何形状和多图推理 (MGR) 来丰富特征表示，在医用数据上的实验表明该方法的分类和分割能力优于其他方法，并且具有良好的泛化能力。

Dec, 2021

本文首次提供了深入的视角，从多个方面分类当前基于 Transformer 框架的方法，针对自注意机制的变体和改进进行了探究，并在分类、分割、目标检测等方面进行了综合对比，最后提出了三个潜在的研究方向，为 3D Transformers 的发展提供了有益参考。

May, 2022

本研究提出 Point Transformer-in-Transformer 方法，结合局部和全局注意机制来进行 3D 图形识别，旨在解决 Transformer 架构的计算效率问题和注意机制无法有效连接单个点的全局问题。实验表明，该方法比基线 Transformer 提供更有用的下游任务特征，同时也更具有计算效率。此外，该方法还可用于场景重建中的功能匹配。

Apr, 2022

本文研究了现代视觉系统的表现下降原因：监督学习时神经网络模型表示出现了监督崩溃现象，即模型丢失了一些与训练任务无关但对多任务或多领域转移有用的信息。作者提出了两种方法来缓解该问题：一是利用自监视学习以鼓励更通用的特征，二是提出了一种新型的基于 Transformer 的神经网络结构 CrossTransformers，可以用少量标记图像和无标记查询项，找到查询项与标记图像之间的粗略空间对应关系，从而通过计算空间对应特征之间的距离来推断其分类。结果是得到一个更加适应任务和领域转移的分类器，证明了在 Meta-Dataset 上的最新成果。

Jul, 2020

本文提出了一种 3D 点云特征学习模型 Pointformer，其中使用局部和全局 Transformer 模块对点云数据进行建模，结合了多尺度特征，以及使用坐标调整模块改善物体提议生成，成功地应用于室内和室外场景下目标检测任务，并取得了显著的性能提升。

Dec, 2020