Brauer 群不变神经网络层计算算法
该论文提出了一种基于范畴论的新型深度学习应用,通过范畴论构建了一种比原始构建方式更为丰富的结构,能够更好地理解和处理群等变神经网络的线性层函数,特别地,提出了一种快速计算通过群等变线性层的传入向量结果的算法,证明了范畴论能够对深度学习的其他领域产生积极的影响。
Apr, 2023
介绍了一种新的方法:Clifford Group Equivariant Neural Networks。从 Clifford 代数中识别和研究 Clifford group 子群,形成了一个直接在向量基础上运算、高效推广到任意维数的 Equivariant Neural Network 层。从三维 N 体实验、四维 Lorentz-equivariant 高能物理实验到五维凸包实验都获得了最新的技术成果。
May, 2023
本文提供了对于任何 n 顶点的图 G 及其自同构群 Aut (G),所有可能的 Aut (G) - 等变神经网络的完整特征描述,其层是某些张量乘幂的形式,找到了标准基础下该类张量空间中可学习的线性等变层函数的矩阵生成集。
Jul, 2023
本文提出了一个通用的 Equivariant 神经网络架构,能够尊重任何减少 Lie 群 G 的有限维表示的对称性,并用于解决几个问题,例如高能物理学,量子力学,量子色动力学,形状识别,图像识别等。
May, 2023
我们得出了一种新型的神经网络,叫做紧致矩阵量子群等变神经网络,它能够从具有基础量子对称性的数据中进行学习。我们应用 Woronowicz 的 Tannaka-Krein 对偶形式来描述出这些神经网络中所出现的权重矩阵,并对任意简单紧致矩阵量子群给出了权重矩阵的表征。我们展示了紧致矩阵量子群等变神经网络包含了所有紧致矩阵群等变神经网络的子类。此外,我们对许多之前在机器学习文献中未出现过的紧致矩阵群等变神经网络的权重矩阵进行了表征。
Nov, 2023
本文介绍了群等变神经网络及其在机器学习中的应用及理论,其中包括群表示理论、非交换调和分析和微分几何等内容,研究结果表明这些网络可以降低样本和模型的复杂性,在输入具有任意相对角度的挑战性任务中表现出色。
Apr, 2020
使用李群和李代数的结构与几何学,提出了一个框架,用来在大多数情况下处理几何变换的不规则群,重点关注李群 GL+(n, R) 和 SL (n, R),以及它们作为仿射变换的表示。通过将 `较大的` 群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下,我们展示了如何参数化卷积核来构建关于仿射变换等变的模型,并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力,结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。
Oct, 2023
通过神经网络可以优化和验证多项式,同时保持高准确性,速度提高十倍,且多项式学习问题与非紧致群 SL (2,R) 等效,为非紧致对称问题提供了理论和实践上有趣的启示。
Dec, 2023
本文研究线性神经网络层,特别是在深度学习架构中核心的具有排列不变性或等变性的网络层;针对这一特性,作者对其进行了参数化以及基于对称群作用下的标准基元轨道的和来表示排列等变线性层;进一步,本文介绍了一种基于低秩张量分解计算的基元,该基元比轨道基元的计算代价更低,最后提出了一种算法来实现这些基元相乘。
Mar, 2023