本文提出了 Stratified Transformer 算法，实现了对于长程依赖的建模，通过关键采样策略提高了机器学习模型的有效感受野，并且结合位置编码增强了性能与收敛速度。实验也证明了该算法在三个数据集上的有效性和优越性。

Mar, 2022

本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

Dec, 2021

使用集合转换器在分层框架中对点云进行形状分类和分割，实现了状态 - of-the-art 的性能，并可用于处理大规模稀疏数据。

Jul, 2022

本论文介绍了一种基于 transformer 模型的多头自注意力结构和位置融合块的点云上采样方法，并通过定量和定性的对比实验证明了其优越性能。

Nov, 2021

这项研究介绍了一种专为大规模科学领域（如高能物理学和天体物理学）的点云处理优化的新型 Transformer 模型。通过解决图神经网络和标准 Transformer 的局限性，我们的模型整合了局部归纳偏置，并通过硬件友好的规则操作实现了近线性复杂度。本研究的一个贡献是对各种稀疏化技术的误差 - 复杂度权衡进行定量分析，其中发现使用局部敏感哈希（LSH），特别是 OR 和 AND 构造 LSH，在具有局部归纳偏置的大规模点云数据的内核逼近中具有优越性。基于这一发现，我们提出了基于 LSH 的高效点云 Transformer（HEPT），该模型将 E^2LSH 与 OR 和 AND 构造相结合，并基于规则计算进行构建。HEPT 在两个关键但耗时的高能物理任务中表现出色，显著优于现有的 GNN 和 Transformer 模型，在准确性和计算速度上都取得了重大进展，标志着几何深度学习和大规模科学数据处理的重要进步。我们的代码可在 https://github.com/Graph-COM/HEPT 获取。

Feb, 2024

该研究介绍了一种名为 Point Transformer 的神经网络，它直接处理无序和无结构的点集，通过引入局部 - 全局注意机制获取局部和全局特征，并通过引入 SortNet 确保输入置换不变性。Point Transformer 的输出是一个排序并且置换不变的特征列表，可直接用于常见的计算机视觉应用。研究结果表明，与先前的工作相比，其在标准分类和部分分割基准测试中具有有竞争力的结果。

Nov, 2020

这篇论文介绍了一种新的基于 Continuous Spatiotemporal Transformer (CST) 的连续动态系统建模方法，能够通过 Sobolev 空间的优化保证连续且平滑输出，实现了对实验数据中脑电波等连续系统的建模，性能在各项任务中均优于传统的基于离散时间和空间的 Transformer 模型及其他动态系统建模方法。

Jan, 2023

本论文提出了一种使用深度学习模型对不规则采样的连续空间时间过程进行直接学习和预测的方法，并验证了该模型在真实天气数据和星际争霸 II 中的有效性。

May, 2021

本篇论文介绍一种新的基于超像素点的变压器架构，用于高效地语义分割大规模 3D 场景。

Jun, 2023

本论文提出了一种基于逐层自适应体素引导的点采样器，能够以高效的方式处理大规模场景点云，实现实时应用，并通过实验验证了该方法的有效性和高效性。

May, 2023