本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

Dec, 2021

信息瓶颈限制了 3D 物体检测的准确性和可扩展性，因此我们提出了基于 Transformer 的 PVTransformer 架构，通过用注意模块替换 PointNet 池化操作来改善点到体的聚合函数，从而在广泛使用的 Waymo Open Dataset 上实现了卓越的表现。

May, 2024

本文提出了一种 Voxel-Transformer-Point（VTP）块，结合了体素法，基于点的 Transformer 法和基于点的方法，分别从粗粒度、局部和全局角度提取点云的特征，并使用其构建 VTPNet 用于 3D 点云学习，在多个数据集上都表现出良好的性能。

May, 2023

本研究致力于探索 3D 点云理解的 transformer 架构，提出了一种有效的 Point Transformer V2 模型，通过对先前工作的局限性进行分析， 提出了一种具有新颖设计的 group vector attention、轻量级的基于分区的池化方法等，实现了更好的性能表现并刷新了几个具有挑战性的 3D 点云理解基准结果。

Oct, 2022

通过提出自适应点云变换器（AdaPT）模型，文章解决了点云变换器（PT）在处理大规模点云时的可扩展性挑战，实现了较低的计算复杂度和竞争性的分类准确率。

Jan, 2024

点云配准中的局部和全局特征提取是一个常见问题。本文提出了一种名为 “Point Tree Transformer (PTT)” 的新型基于 Transformer 的方法，通过构建点云的层次特征树和引入一种新的点树注意力机制（PTA）来提取细粒度的局部和全局特征，从而有效地解决低相关性点引起的性能下降和计算复杂度过高的问题。实验证明，该方法在 3DMatch、ModelNet40 和 KITTI 数据集上取得了优越的性能。

Jun, 2024

本文介绍了 Point Tracking Transformer (PTTR) 模型，该模型通过关系感知采样，点关系变换器和预测细化模块实现了点云单物体跟踪，并且在 Waymo 开放数据集上取得了卓越的准确性和效率。

Dec, 2021

本文首次提供了深入的视角，从多个方面分类当前基于 Transformer 框架的方法，针对自注意机制的变体和改进进行了探究，并在分类、分割、目标检测等方面进行了综合对比，最后提出了三个潜在的研究方向，为 3D Transformers 的发展提供了有益参考。

May, 2022

本篇研究文章提出基于点云的 3D 单目标跟踪的 Transformer 模块 Point-Track-Transformer（PTT），其包含特征嵌入，位置编码和自注意力模块等三个模块，将该模块应用到现有的 P2B 方法上构建出 PTT-Net，并在 KITTI 数据集上实验表明，该模型较现有方法提升了约 10％左右的性能，并实现了实时性能（~40FPS）。

Aug, 2021

本论文提供了一种新型的点块 Transformer 用于单级三维检测 (PVT-SSD), 其使用基于体素的稀疏卷积进行有效的特征编码，并从体素中以便宜的方式获取长距离上下文，同时从点中获取准确的位置并通过引入依赖于输入的查询初始化模块关联这两种不同的表示。进一步地，通过设计 Virtual Range Image 模块，该方法能够快速找到参考点的邻近点。该方法在几个自动驾驶基准测试中得到了验证，表明其有效性和高效性。

May, 2023