使用集合转换器在分层框架中对点云进行形状分类和分割，实现了状态 - of-the-art 的性能，并可用于处理大规模稀疏数据。

Jul, 2022

基于区域转换器的自我注意力机制的增长式点云分割模型优于以往的通用类和特定类方法，通过自我注意力捕捉远距离依赖关系，在训练过程中避免了对语义标签的需求，适用于灵活的点云分割，并可应用于机器人技术、数字化双生和自动驾驶等领域。

Mar, 2024

本研究提出 Point Transformer-in-Transformer 方法，结合局部和全局注意机制来进行 3D 图形识别，旨在解决 Transformer 架构的计算效率问题和注意机制无法有效连接单个点的全局问题。实验表明，该方法比基线 Transformer 提供更有用的下游任务特征，同时也更具有计算效率。此外，该方法还可用于场景重建中的功能匹配。

Apr, 2022

该研究提出了一个名为 Graph Transformer 的新特征提取模块，它能够在局部和全局模式下学习点云特征。该模块将基于图形和变压器的方法的优点相结合，并包括局部变换器和全局变换器模块。在此基础上，构建了一个 3D 点云网络 GTNet，可以用于形状分类、部分分割和语义分割任务。

May, 2023

本文提出了一种基于 Point Cross-Attention Transformer 的新型端到端网络结构，将多尺度特征通过两个不同的跨注意力变换器分支进行组合，并引入一种有效的形状分类模型，通过计算不同分支的单类标记与注意图来减少计算负担，实验表明该方法在形状分类，部分分割和语义分割任务中表现优异。

Apr, 2023

该研究通过在自我注意模块中引入先前知识 - 多尺度结构，提出了一种 Multi-Scale Transformer，其使用多尺度多头自我注意来捕捉来自不同尺度的特征，通过对 21 个数据集进行的实验结果表明，相对于标准 Transformer，在小型和中等型数据集上，该多尺度变压器始终具有显着性能优势。

Dec, 2019

本研究提出了一种基于自注意力变换器和 Gumbel 子集采样的特征提取方法，可用于处理大小变化的输入，并能够用于处理事件相机流作为点云的新领域。

Apr, 2019

本篇文章提出了一种特定于医用点云的基于注意力机制的 3D 医用点云 Transformer (3DMedPT) 模型，通过增加上下文信息和在查询时总结局部响应，可以捕捉局部和全局特征交互，同时应用位置嵌入学习准确的局部几何形状和多图推理 (MGR) 来丰富特征表示，在医用数据上的实验表明该方法的分类和分割能力优于其他方法，并且具有良好的泛化能力。

Dec, 2021

本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

Dec, 2021

本研究提出了一种统一的变形器网络，称为多化合物变形器（MCTrans），可嵌入 UNet-like 网络中，并在生物医学图像分割中显着提高了最先进方法的性能。它使用自我关注和交叉注意力进行多尺度卷积特征的序列嵌入，引入了可学习的代理嵌入来模拟语义关系和特征增强。

Jun, 2021