MMNov, 2023

选择欧几里德、射影、共形几何代数用于等变变换器

PDF
TL;DR基于射影几何代数的几何代数变换器 (GATr) 是一种多功能的几何深度学习架构，我们将其推广为一种蓝图，可用于根据任何几何（或 Clifford）代数构建可扩展的变压器架构。我们研究了欧几里德、射影和共形代数的不同版本的该架构，它们都适用于表示 3D 数据，并在理论和实践中对它们进行评估。最简单的欧几里德架构计算成本低廉，但对称群较小且样本效率较低，而射影模型的表达能力不足。共形代数和改进版本的射影代数都定义了强大而高效的架构。
geometric algebra transformergeometric deep learningprojective geometric algebratransformer architectureconformal algebra
发现论文，激发创造
  • 几何代数变换器

    本文介绍了一种用于处理几何数据的通用框架 ——Geometric Algebra Transformer (GATr)，它能够高效地表示常见几何物体及其运算符，并能够保持几何物体的对称性，经实验表明其在 n-body modeling 和机器人规划方面的表现明显优于无几何基线模型。

    May, 2023

  • 洛伦兹等变几何代数变换器在高能物理中的应用

    从粒子物理实验中提取科学理解需要高精度和良好的数据效率来解决多样的学习问题。我们提出了 Lorentz Geometric Algebra Transformer（L-GATr），这是一个用于高能物理的全新多功能架构。L-GATr 将高能数据表示为四维时空的几何代数，并在 Lorentz 变换下等变，这是相对论运动学的对称群。同时，该架构是一个 Transformer，使它具有很强的灵活性和可扩展性。L-GATr 首先在粒子物理的回归和分类任务上得到验证。然后，我们构建了第一个 Lorentz 等变生成模型：基于 L-GATr 网络的连续正态流，使用 Riemannian 流匹配进行训练。在我们的实验证明中，L-GATr 与强领域特定的基线模型相媲美甚至更优秀。

    May, 2024

  • 具有几何变换器的概率与可微分无线仿真

    设计现代通信系统需要模拟电磁信号传播，为了解决相反问题和自动化设计，文章提出使用基于几何代数的可微分神经替代模型进行模拟。通过引入无线几何代数变换器（Wi-GATr）作为骨干架构，在三维环境中模拟无线传播。同时研究了基于可微分预测建模和扩散模型的信号预测和反问题的两种算法方法，并在实验中验证了该方法相较于基线方法在使用更少数据的情况下能达到更高的精度。

    Jun, 2024

  • LaB-GATr：大型生物医学表面和体积网格的几何代数变换器

    LaB-GATr 是一个转换神经网络，具有几何记号化的功能，可以通过序列压缩和插值高效地学习大规模（生物）医学表面和体积网格，扩展了最近提出的几何代数变换器（GATr）的方法。

    Mar, 2024

  • GeoMFormer：一种用于几何分子表示学习的通用架构

    通过 GeoMFormer 这一基于 Transformer 的分子模型，在维持和学习不变和等变表示的同时，通过精心设计的交叉注意力模块实现信息融合和增强几何建模，以提高不同类型和规模的不变和等变任务的性能。

    Jun, 2024

  • 几何克利福德代数网络

    本文提出了基于几何（Clifford）代数的对称群转换的几何克利福德代数网络（GCAN），并采用组合叠加的方式实现对象变换。通过梯度下降，可以实现这些层作为可调整的几何模板，用于模拟三维刚体变换和大规模流体动力学模拟，相对于传统方法，实现了显著提高的性能。

    Feb, 2023

  • Clifford 几何代数入门

    介绍了几何代数的基础知识，包括平面、三维空间、时空和流行的共形模型，并对其在物理学，机器人学，信号处理，虚拟现实，计算机视觉，矢量场处理，跟踪，地理信息系统和神经计算方面的应用进行了详细的解释。它是用于表示几何转换的理想方法，具有广泛的用途。同时，几何代数的基于代数的微积分技术可以优化 Clifford 神经元的学习算法等。

    Jun, 2013

  • 等变换器即所需

    通过引入对称等变性注意力机制，我们将其应用于自学习蒙特卡洛方法，并在二维格上的自旋 - 费米模型中观察到类似于大型语言模型的缩放率的接受率，并克服了线性模型的低接受率。

    Oct, 2023

  • 随机几何代数方法用于凸神经网络

    我们引入了随机算法到 Clifford 几何代数，将随机线性代数推广到超复向量空间。这种新颖的方法在机器学习中有很多涵义，包括通过凸优化将神经网络训练到全局最优。此外，我们考虑了细调大型语言模型（LLM）中的嵌入作为一个关键应用领域，探索几何代数和现代人工智能技术的交叉点。特别地，我们通过传统方法与基于凸优化的新方法进行了鲁棒的转移学习的比较分析，其中测试了不同嵌入（GPT-4 和 BERT 嵌入）和不同文本分类数据集（IMDb、Amazon Polarity Dataset 和 GLUE）以及一系列超参数设置的凸优化传输学习方法。我们的结果表明，凸优化和几何代数不仅提高了 LLMs 的性能，还提供了一种更稳定和可靠的传输学习方法通过嵌入。

    Jun, 2024

  • 等距不变和等变图卷积网络

    我们提出了一种基于图卷积网络的一组变换不变和等变模型，称为 IsoGCNs，并证明了该模型在几何和物理模拟数据相关任务上具有竞争性能.

    May, 2020