May, 2023

Clifford 群等变神经网络

PDF
TL;DR介绍了一种新的方法：Clifford Group Equivariant Neural Networks。从 Clifford 代数中识别和研究 Clifford group 子群，形成了一个直接在向量基础上运算、高效推广到任意维数的 Equivariant Neural Network 层。从三维 N 体实验、四维 Lorentz-equivariant 高能物理实验到五维凸包实验都获得了最新的技术成果。
发现论文，激发创造
  • 群等变神经网络的理论方面

    本文介绍了群等变神经网络及其在机器学习中的应用及理论，其中包括群表示理论、非交换调和分析和微分几何等内容，研究结果表明这些网络可以降低样本和模型的复杂性，在输入具有任意相对角度的挑战性任务中表现出色。

    Apr, 2020

  • 多维向量神经元：更好更快的 O (n) 等变 Clifford 图神经网络

    本研究通过测试几种基于 Clifford 多矢量的新颖消息传递图神经网络（GNNs），旨在解决当前大多数对 $O (n)$ 或 $SO (n)$ 等等变换具有等变性的深度学习模型在处理标量信息时效果较好，但计算复杂度较高的问题。我们的方法利用了高效的不变标量特征，并同时在多矢量表示上执行表达性学习，特别是通过使用等变的几何乘积算子。通过整合这些要素，我们的方法在 N-Body 模拟任务和蛋白质去噪任务上优于已建立的高效基准模型，同时保持高效性。特别是，在 N-body 数据集上，我们的方法的误差推动到 0.0035（平均 3 次运行）；比最近的方法提升了 8%。我们的实现在 Github 上提供。

    Jun, 2024

  • 关于纽约利群上等变神经网络的一般框架

    本文提出了一个通用的 Equivariant 神经网络架构，能够尊重任何减少 Lie 群 G 的有限维表示的对称性，并用于解决几个问题，例如高能物理学，量子力学，量子色动力学，形状识别，图像识别等。

    May, 2023

  • 紧致矩阵量子群等变神经网络

    我们得出了一种新型的神经网络，叫做紧致矩阵量子群等变神经网络，它能够从具有基础量子对称性的数据中进行学习。我们应用 Woronowicz 的 Tannaka-Krein 对偶形式来描述出这些神经网络中所出现的权重矩阵，并对任意简单紧致矩阵量子群给出了权重矩阵的表征。我们展示了紧致矩阵量子群等变神经网络包含了所有紧致矩阵群等变神经网络的子类。此外，我们对许多之前在机器学习文献中未出现过的紧致矩阵群等变神经网络的权重矩阵进行了表征。

    Nov, 2023

  • 图同构群等变神经网络

    本文提供了对于任何 n 顶点的图 G 及其自同构群 Aut (G)，所有可能的 Aut (G) - 等变神经网络的完整特征描述，其层是某些张量乘幂的形式，找到了标准基础下该类张量空间中可学习的线性等变层函数的矩阵生成集。

    Jul, 2023

  • 粒子物理学中的 Lorentz 群等变神经网络

    本文介绍一种基于洛伦兹群的有等变性的神经网络体系结构，其用于分类任务在粒子物理学中表现出的结果优于卷积神经网络和点云方法。

    Jun, 2020

  • Brauer 群不变神经网络层计算算法

    使用范畴论构建算法实现可变换于正交群、特殊正交群、辛群及对称群的张量空间间的学习可线性神经网络层，运用克罗内克积矩阵大幅降低运算成本。

    Apr, 2023

  • 克利福德群等变单纯消息传递网络

    我们介绍了 Clifford Group 等变成分维消息传递网络，这是一种用于 simplicial 复合体上的可操控 E (n)- 等变消息传递的方法。实验结果表明，我们的方法能够在各种几何任务中优于等变和 simplicial 图神经网络。

    Feb, 2024

  • E (n) 等变图神经网络

    本文介绍了一种新的模型来学习具有等变性的图神经网络，称为 EGNN，此方法不需要在中间层中计算昂贵的高阶表示，同时具有竞争力或更好的性能，在 3 维空间等变性上具有比现有方法更大的伸缩性，并在动态系统建模，图自编码器中的表征学习和预测分子性质方面证明了其有效性。

    Feb, 2021

  • 构建任意矩阵群等变多层感知器的实用方法

    提供求解矩阵群等变层的通用算法，在多个未曾解决的群中构建具有多个群等变性的多层感知器，优于非等变基线模型，在粒子物理和动力系统中应用。

    Apr, 2021