构建任意矩阵群等变多层感知器的实用方法
本文探讨了利用群论的工具证明了广泛类的等变多层感知器的普适性,其中在正则作用下拥有隐藏层足以保证等变性,并且给出了具有高阶隐藏层的等变多层感知器的普适性的普适条件。
Feb, 2020
本文介绍了群等变神经网络及其在机器学习中的应用及理论,其中包括群表示理论、非交换调和分析和微分几何等内容,研究结果表明这些网络可以降低样本和模型的复杂性,在输入具有任意相对角度的挑战性任务中表现出色。
Apr, 2020
本文提出了一种具有置换不变性和数据空间变换等变性的元学习方法 EQuivCNP,其建立在数据集的置换不变性与常规条件神经过程(CNPs)相同,且具有转换等变性;结合群等变性提供了考虑现实世界中的数据对称性的方式,并使用李群卷积层构建体系结构进行实际实现,EquivCNP 在具有等变性的情况下能够实现零样本泛化。
Feb, 2021
使用等变函数作为认知模型的假设条件下,学习具有对称性和等变性的函数是不可能的;我们探究了群和半群的逼近概念,分析了线性等变网络和群卷积网络是否满足该结果,并阐述了它们的理论和实际意义。
Oct, 2022
本研究论文探讨卷积神经网络在对称群中的应用,提出了群等变神经网络的概念和架构,以及使用多种层和滤波器的方法,为对称群的表示和胶囊的细节做出了数学分析。
Jan, 2023
本文研究线性神经网络层,特别是在深度学习架构中核心的具有排列不变性或等变性的网络层;针对这一特性,作者对其进行了参数化以及基于对称群作用下的标准基元轨道的和来表示排列等变线性层;进一步,本文介绍了一种基于低秩张量分解计算的基元,该基元比轨道基元的计算代价更低,最后提出了一种算法来实现这些基元相乘。
Mar, 2023
介绍了一种新的方法:Clifford Group Equivariant Neural Networks。从Clifford代数中识别和研究Clifford group子群,形成了一个直接在向量基础上运算、高效推广到任意维数的Equivariant Neural Network层。从三维N体实验、四维Lorentz-equivariant高能物理实验到五维凸包实验都获得了最新的技术成果。
May, 2023
线性全连接神经网络所参数化的函数集合是一个行列式变种。我们研究了在置换群的作用下等变或不变的函数子变种。对于这些等变或不变的子变种,我们提供了其维数、度数以及欧氏距离度数和奇点的明确描述。我们对任意置换群完全表征了不变性和循环群的等变性。我们对等变和不变的线性网络的参数化和设计提出了结论,如权重共享特性,并证明所有不变的线性函数可以通过线性自编码器进行学习。
Sep, 2023
使用李群和李代数的结构与几何学,提出了一个框架,用来在大多数情况下处理几何变换的不规则群,重点关注李群 GL+(n, R) 和 SL(n, R),以及它们作为仿射变换的表示。通过将`较大的`群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下,我们展示了如何参数化卷积核来构建关于仿射变换等变的模型,并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力,结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。
Oct, 2023