OctFormer 使用基于八叉树的关注机制进行分割和检测，这种关注机制具有高效性和灵活性，且在多个基准测试中表现出优异的性能。

May, 2023

本文提出了一种针对 3D 目标检测的模型 Sparse Window Transformer（SWFormer），它能够充分利用点云数据的稀疏性，并通过 “桶” 技术对不同长度的稀疏窗口有效地进行处理。在 Multi-scale 特征融合和窗口偏移操作的基础上，作者还引入了新的体素扩散技术。最终，在 Waymo Open Dataset 上的实验结果表明，SWFormer 相比于所有先前的单阶段和两阶段模型，取得了最新的 73.36 L2 mAPH 表现，同时更加高效。

Oct, 2022

本文介绍了一种名为 ScatterFormer 的新方法，该方法能够直接对具有不同长度的体素集进行注意力计算，并通过 Cross-Window 交互模块实现窗口间信息流动，大幅提升了点云理解任务的性能。

Jan, 2024

本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

Dec, 2021

本文提出了一种基于中心点的变换网络 ——CenterFormer，它使用查询嵌入来聚合中心候选点的特征向量，并设计了一种通过交叉注意力来融合多帧特征的方法。在 Waymo Open 数据集上，CenterFormer 在单个模型上实现了先进水平，取得了 73.7% 的验证集和 75.6% 的测试集 mAPH, 显著优于以前所有已发表的基于 CNN 和 transformer 的方法。

Sep, 2022

在点云学习领域中，由于 Transformer 模型生成的注意力矩阵具有输入规模的平方复杂度，因此本文提出了一种采用自适应方式学习较小基础上的基础并通过它们的带权求和来计算注意力矩阵的方法 (PAT)，并借助于轻量级的多尺度注意力块（MST）来实现对不同尺度特征的关注，最终构建了一个名为 PatchFormer 的神经网络，为点云学习提供了可比较的准确性，并且比以前的点 Transformers 快 9.2 倍。

Oct, 2021

通过引入新的矩阵关注 Transformer（Tensorformer）来实现更好的局部几何建模和更高质量的表面重建，成果在两个常用的数据集上均已超越同行，并在 ShapeNet 上取得 4％的 IOU 改进。

Jun, 2023

将局部几何结构和长范围上下文信息耦合进 ConDaFormer 中，通过将相应的立方体窗口分解为三个正交的 2D 平面，以在类似范围内建模注意力，提高了性能和模型的计算效率。

Dec, 2023

通过在正规网格特征和离散点特征之间引入高效的点 - 网格变换机制，以及采用边界优化策略，本文提出的方法有效地提升了三维表面重建的精度和准确性。

Jan, 2024

本文提出了一种 3D 点云特征学习模型 Pointformer，其中使用局部和全局 Transformer 模块对点云数据进行建模，结合了多尺度特征，以及使用坐标调整模块改善物体提议生成，成功地应用于室内和室外场景下目标检测任务，并取得了显著的性能提升。

Dec, 2020