May, 2024

洛伦兹等变几何代数变换器在高能物理中的应用

PDF
TL;DR从粒子物理实验中提取科学理解需要高精度和良好的数据效率来解决多样的学习问题。我们提出了 Lorentz Geometric Algebra Transformer（L-GATr），这是一个用于高能物理的全新多功能架构。L-GATr 将高能数据表示为四维时空的几何代数，并在 Lorentz 变换下等变，这是相对论运动学的对称群。同时，该架构是一个 Transformer，使它具有很强的灵活性和可扩展性。L-GATr 首先在粒子物理的回归和分类任务上得到验证。然后，我们构建了第一个 Lorentz 等变生成模型：基于 L-GATr 网络的连续正态流，使用 Riemannian 流匹配进行训练。在我们的实验证明中，L-GATr 与强领域特定的基线模型相媲美甚至更优秀。
particle-physics experimentslorentz geometric algebra transformerhigh-energy physicslorentz transformationsgenerative model
发现论文，激发创造
  • 几何代数变换器

    本文介绍了一种用于处理几何数据的通用框架 ——Geometric Algebra Transformer (GATr)，它能够高效地表示常见几何物体及其运算符，并能够保持几何物体的对称性，经实验表明其在 n-body modeling 和机器人规划方面的表现明显优于无几何基线模型。

    May, 2023

  • 选择欧几里德、射影、共形几何代数用于等变变换器

    基于射影几何代数的几何代数变换器 (GATr) 是一种多功能的几何深度学习架构，我们将其推广为一种蓝图，可用于根据任何几何（或 Clifford）代数构建可扩展的变压器架构。我们研究了欧几里德、射影和共形代数的不同版本的该架构，它们都适用于表示 3D 数据，并在理论和实践中对它们进行评估。最简单的欧几里德架构计算成本低廉，但对称群较小且样本效率较低，而射影模型的表达能力不足。共形代数和改进版本的射影代数都定义了强大而高效的架构。

    Nov, 2023

  • LaB-GATr：大型生物医学表面和体积网格的几何代数变换器

    LaB-GATr 是一个转换神经网络，具有几何记号化的功能，可以通过序列压缩和插值高效地学习大规模（生物）医学表面和体积网格，扩展了最近提出的几何代数变换器（GATr）的方法。

    Mar, 2024

  • 具有几何变换器的概率与可微分无线仿真

    设计现代通信系统需要模拟电磁信号传播，为了解决相反问题和自动化设计，文章提出使用基于几何代数的可微分神经替代模型进行模拟。通过引入无线几何代数变换器（Wi-GATr）作为骨干架构，在三维环境中模拟无线传播。同时研究了基于可微分预测建模和扩散模型的信号预测和反问题的两种算法方法，并在实验中验证了该方法相较于基线方法在使用更少数据的情况下能达到更高的精度。

    Jun, 2024

  • 粒子物理学中的 Lorentz 群等变神经网络

    本文介绍一种基于洛伦兹群的有等变性的神经网络体系结构，其用于分类任务在粒子物理学中表现出的结果优于卷积神经网络和点云方法。

    Jun, 2020

  • 等变换器即所需

    通过引入对称等变性注意力机制，我们将其应用于自学习蒙特卡洛方法，并在二维格上的自旋 - 费米模型中观察到类似于大型语言模型的缩放率的接受率，并克服了线性模型的低接受率。

    Oct, 2023

  • 一个高效的洛仑兹等变图神经网络用于喷注标识

    本论文提出了一种新的深度学习模型，称为 LorentzNet，用于粒子物理中的 Jet 标注问题，该模型维持了洛伦兹对称性，通过高效的闵可夫斯基点积注意力进行信息传递，在两个代表性的 Jet 标注引擎上进行的实验表明，LorentzNet 表现出最佳性能并显著改善了现有的最先进算法。

    Jan, 2022

  • 用于归纳迁移回归任务的几何对齐迁移编码器

    通过使用差分几何，我们提出了一种基于几何对齐的转移编码器（GATE）的新型转移学习方法，该方法能够有效地在回归任务中从源数据向目标数据传递知识，并展现出在潜空间和外推区域的稳定行为，从而在各种分子图数据集上优于传统方法。

    Oct, 2023

  • GeoMFormer：一种用于几何分子表示学习的通用架构

    通过 GeoMFormer 这一基于 Transformer 的分子模型，在维持和学习不变和等变表示的同时，通过精心设计的交叉注意力模块实现信息融合和增强几何建模，以提高不同类型和规模的不变和等变任务的性能。

    Jun, 2024

  • 洛伦兹图卷积网络

    本文提出了一种新的超半球几何图卷积神经网络（Lorentzian graph convolutional network，LGCN）来学习超半球几何中的节点特征，并在 6 个数据集上的实验表明，相比于现有的超半球几何图卷积神经网络方法，LGCN 在学习类似树形的图的表示时存在更低的畸变，并且有些超半球几何图卷积神经网络的性能使用本文所定义的图操作可以得到改进。

    Apr, 2021