从粒子物理实验中提取科学理解需要高精度和良好的数据效率来解决多样的学习问题。我们提出了 Lorentz Geometric Algebra Transformer（L-GATr），这是一个用于高能物理的全新多功能架构。L-GATr 将高能数据表示为四维时空的几何代数，并在 Lorentz 变换下等变，这是相对论运动学的对称群。同时，该架构是一个 Transformer，使它具有很强的灵活性和可扩展性。L-GATr 首先在粒子物理的回归和分类任务上得到验证。然后，我们构建了第一个 Lorentz 等变生成模型：基于 L-GATr 网络的连续正态流，使用 Riemannian 流匹配进行训练。在我们的实验证明中，L-GATr 与强领域特定的基线模型相媲美甚至更优秀。

May, 2024

本文介绍了一种用于处理几何数据的通用框架 ——Geometric Algebra Transformer (GATr)，它能够高效地表示常见几何物体及其运算符，并能够保持几何物体的对称性，经实验表明其在 n-body modeling 和机器人规划方面的表现明显优于无几何基线模型。

May, 2023

基于射影几何代数的几何代数变换器 (GATr) 是一种多功能的几何深度学习架构，我们将其推广为一种蓝图，可用于根据任何几何（或 Clifford）代数构建可扩展的变压器架构。我们研究了欧几里德、射影和共形代数的不同版本的该架构，它们都适用于表示 3D 数据，并在理论和实践中对它们进行评估。最简单的欧几里德架构计算成本低廉，但对称群较小且样本效率较低，而射影模型的表达能力不足。共形代数和改进版本的射影代数都定义了强大而高效的架构。

Nov, 2023

该研究介绍了一种名为几何感知大型重建模型（GeoLRM）的方法，该方法可以使用 512k 个高斯函数和 21 个输入图像在仅需 11 GB 的 GPU 内存中预测高质量的资源。该模型通过引入一种新颖的三维感知变换器结构和可变形交叉注意机制来解决现有方法在表达低分辨率和提高质量的密集视图方面的局限性，实现了三维结构和二维图像之间的有效融合，并在三维生成任务中表现出显著的性能优势。

Jun, 2024

提出了一种基于 Transformer 以及 Laplacian 特征编码的多边形网格的语义分割方法，并在 Shape COSEG 数据集、人类分割数据集以及 ShapeNet 基准上实现了最先进的性能。

Jul, 2023

本文提出了 Geometry-aware line graph transformer (Galformer) 预训练方法，采用 2D 和 3D 模态增强分子表示学习，通过对无标签的分子进行两个互补的预训练任务，提取出 2D 和 3D 知识，并在性质预测方面表现出优越性能。

Sep, 2023

基于几何深度学习的形状生成模型在计算医学中的应用可通过比较分析，验证了其适用于以真实 3D 网格形状为基础的合成解剖形状，并且可以进一步增加变异性并保留更多生成形状的细节。

Mar, 2024

我们提出了一种基于图神经网络的转换器方法来识别和测量分割图中的错误区域，并通过遥测得出高层结构内的人类耳蜗错误率为 0.042，大约 79.53% 的准确性。

Aug, 2023

通过一个高效的 Generative Adversarial Transfomer (GATrans)，采用深度学习方法和全局变换网络（GTNet）来实现高精度语义分割，在保持极高效率的同时，通过多层特征提取和结构相似性损失函数优化，获得了 90.17% 的平均 F1 得分和 91.92% 的总体准确率。

Oct, 2023

设计现代通信系统需要模拟电磁信号传播，为了解决相反问题和自动化设计，文章提出使用基于几何代数的可微分神经替代模型进行模拟。通过引入无线几何代数变换器（Wi-GATr）作为骨干架构，在三维环境中模拟无线传播。同时研究了基于可微分预测建模和扩散模型的信号预测和反问题的两种算法方法，并在实验中验证了该方法相较于基线方法在使用更少数据的情况下能达到更高的精度。

Jun, 2024