不变网络的普适性研究
我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射,以建立一种像网络一样的计算模型,能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造,通过引入中间多项式层,通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE(2)群的 “电荷守恒卷积” 模型,并证明其是连续 SE(2)等变信号变换的通用逼近器。
Apr, 2018
本文研究了一类具有单隐藏层的不变和等变网络,并证明了其新的普适性定理。首先,本文提出了一种以代数理论为基础的证明方式。其次,本文将这一结果扩展到等变网络中,该领域的理论研究相对较少。最后,本文的结果表明,相同的参数可以在具有不同规模的图上近似实现一定的函数。
May, 2019
本文研究了有限群 $G$ 的 $G$- 不变 / 等变函数与深度神经网络之间的关系,特别是对于给定的 $G$- 不变 / 等变函数,我们通过深度神经网络构建其通用逼近器,其中每层都具有 $G$- 作用,每个仿射变换都是 $G$- 等变 / 不变。由于表示论,我们可以证明这种逼近器具有比通常模型少得多的自由参数。
Mar, 2019
该论文研究了神经网络在输入排列不同时的不变性,针对异构图数据,提出了保留节点类型排列的线性层公式,实验表明该方法可以更有效地学习节点交互。并对张量层大小问题进行了探究,发现对于 $n$ 个节点的图数据,张量大小的上限为 $n$,优于之前的结果。
Feb, 2023
使用等变函数作为认知模型的假设条件下,学习具有对称性和等变性的函数是不可能的;我们探究了群和半群的逼近概念,分析了线性等变网络和群卷积网络是否满足该结果,并阐述了它们的理论和实际意义。
Oct, 2022
线性全连接神经网络所参数化的函数集合是一个行列式变种。我们研究了在置换群的作用下等变或不变的函数子变种。对于这些等变或不变的子变种,我们提供了其维数、度数以及欧氏距离度数和奇点的明确描述。我们对任意置换群完全表征了不变性和循环群的等变性。我们对等变和不变的线性网络的参数化和设计提出了结论,如权重共享特性,并证明所有不变的线性函数可以通过线性自编码器进行学习。
Sep, 2023
通过研究对称性和几何学,我们提出了一种系统规则,通过数据域上的群作用来找到参数域上的双重群作用,并通过 Schur 引理给出了广义神经网络的群理论证明,从而将几何深度学习与抽象谐波分析相连。
Oct, 2023
我们在这项工作中正式证明,在特定条件下,如果神经网络对于一个有限群是不变的,那么它的权重将恢复该群的傅里叶变换。这为傅里叶特征的出现提供了数学解释,傅里叶特征是生物和人工学习系统中普遍存在的现象。即使对于非交换群,这些结果仍然成立,此时傅里叶变换编码了所有不可约幺正群表示。我们的研究结果对于对称性探索问题具有重要意义。具体来说,我们证明了从至少在某些限制范围内是近似不变的网络的权重中,可以恢复未知群的代数结构。总体而言,这项工作为不变神经网络表示的代数学习理论奠定了基础。
Dec, 2023
本文提出了一种基于图同态模型的简单证明方法,证明了不变和等变张量化图神经网络的普适性和张量化的自然解释,同时解释了该模型与图的连续表示之间的联系。
Oct, 2019
本文研究了转化群、深度卷积网络的不变性特性及其对稳定性的影响,进一步探讨了网络架构和可训练滤波器系数等因素与不变性群的关系,提供了更加抽象、强大不变性表示的实现方式。
Jan, 2013