粒子跟踪是大型强子对撞机几乎所有物理分析程序的关键，深度学习模型广泛应用于与粒子跟踪相关的任务。然而，目前的做法是为一个任务设计和训练一个深度学习模型，采用有监督学习技术。训练的模型对于训练过的任务效果良好，但在泛化能力方面显示出很少或没有。我们提出用语言模型统一这些模型。本文提出了一种标记化探测器表示法，可以用来训练粒子跟踪的 BERT 模型。训练的 BERT 模型，即 TrackingBERT，提供了可以用于其他任务的潜在探测器模块嵌入。这项工作代表了为粒子探测器理解开发基础模型的第一步。

Feb, 2024

基于 Point Transformers 模型的分类性能在 ModelNet10 数据集上表现良好，并在 fine-tuning 后用于 3D MNIST 数据集分类，在这种情况下，迁移学习模型没有超过基于 3D MNIST 数据集从头开始训练的模型，虽然我们预期迁移学习模型收敛更快，因为它们已经了解了 ModelNet10 数据集中的边缘、角点等低层特征。

Apr, 2024

使用 Transformer 技术，通过分析其注意机制并设计特定的预训练任务，可以学习车辆群体内轨迹的多样性，同时预训练模型在捕捉车辆群体的空间分布方面表现出色，并能准确预测时间序列中的轨迹速度。

Sep, 2023

该研究介绍了一种名为 Point Transformer 的神经网络，它直接处理无序和无结构的点集，通过引入局部 - 全局注意机制获取局部和全局特征，并通过引入 SortNet 确保输入置换不变性。Point Transformer 的输出是一个排序并且置换不变的特征列表，可直接用于常见的计算机视觉应用。研究结果表明，与先前的工作相比，其在标准分类和部分分割基准测试中具有有竞争力的结果。

Nov, 2020

本文介绍了 Point Tracking Transformer (PTTR) 模型，该模型通过关系感知采样，点关系变换器和预测细化模块实现了点云单物体跟踪，并且在 Waymo 开放数据集上取得了卓越的准确性和效率。

Dec, 2021

Point-BERT 是一种新的 Transformers 范例，通过预训练点云 Transformers 解决 few-shot 分类问题，在 ModelNet40 和 ScanObjectNN 数据集上取得了超过已有模型的优异表现。

Nov, 2021

本篇论文介绍一种新的基于超像素点的变压器架构，用于高效地语义分割大规模 3D 场景。

Jun, 2023

本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

Dec, 2021

信息瓶颈限制了 3D 物体检测的准确性和可扩展性，因此我们提出了基于 Transformer 的 PVTransformer 架构，通过用注意模块替换 PointNet 池化操作来改善点到体的聚合函数，从而在广泛使用的 Waymo Open Dataset 上实现了卓越的表现。

May, 2024

通过引入稀疏注意力机制和双头预测器，成功地解决了基于 Transformer 模型的视觉跟踪任务中自注意力机制关注背景信息而影响性能的问题，并在 LaSOT、GOT-10k、TrackingNet 和 UAV123 等数据集中表现出显著的跟踪性能。相比 TransT，我们的方法将训练时间缩短了 75％。

May, 2022