Feb, 2024
基于局部敏感哈希的高效点变换器在高能物理中的应用
Locality-Sensitive Hashing-Based Efficient Point Transformer with Applications in High-Energy Physics
Siqi Miao, Zhiyuan Lu, Mia Liu, Javier Duarte, Pan Li
TL;DR这项研究介绍了一种专为大规模科学领域（如高能物理学和天体物理学）的点云处理优化的新型 Transformer 模型。通过解决图神经网络和标准 Transformer 的局限性，我们的模型整合了局部归纳偏置，并通过硬件友好的规则操作实现了近线性复杂度。本研究的一个贡献是对各种稀疏化技术的误差 - 复杂度权衡进行定量分析，其中发现使用局部敏感哈希（LSH），特别是 OR 和 AND 构造 LSH，在具有局部归纳偏置的大规模点云数据的内核逼近中具有优越性。基于这一发现，我们提出了基于 LSH 的高效点云 Transformer（HEPT），该模型将 E^2LSH 与 OR 和 AND 构造相结合，并基于规则计算进行构建。HEPT 在两个关键但耗时的高能物理任务中表现出色，显著优于现有的 GNN 和 Transformer 模型，在准确性和计算速度上都取得了重大进展，标志着几何深度学习和大规模科学数据处理的重要进步。我们的代码可在 https://github.com/Graph-COM/HEPT 获取。