不变层用于具有不同类型节点的图
本文提供了对(超)图数据的所有置换不变和等变线性层的表征,并展示了它们的维度,并计算出这些层的正交基,包括对多图数据的推广。同时,在简单的深度神经网络框架中应用这些新的线性层,可以获得比之前的不变性和等变性基础更好的表现,并且可以实现任何消息传递神经网络的近似。
Dec, 2018
本研究探讨了群变换对神经网络中的线性层进行限制是否可以使其逼近任意(连续)不变函数,结果表明高阶张量可以实现该功能,且存在一些群需要高阶张量才能实现,研究得出了只使用一阶张量的 G 不变网络普适性的必要条件。
Jan, 2019
本研究提出了一种通过置换组捕捉相邻节点间的成对相关性的高效置换敏感聚合机制,证明我们的方法比 2-WL 图同构测试更强大且不逊于 3-WL 测试,并证明我们的方法可以实现线性采样复杂度。多个数据集的综合实验证明了我们模型的优越性。
May, 2022
线性全连接神经网络所参数化的函数集合是一个行列式变种。我们研究了在置换群的作用下等变或不变的函数子变种。对于这些等变或不变的子变种,我们提供了其维数、度数以及欧氏距离度数和奇点的明确描述。我们对任意置换群完全表征了不变性和循环群的等变性。我们对等变和不变的线性网络的参数化和设计提出了结论,如权重共享特性,并证明所有不变的线性函数可以通过线性自编码器进行学习。
Sep, 2023
本文研究了一类具有单隐藏层的不变和等变网络,并证明了其新的普适性定理。首先,本文提出了一种以代数理论为基础的证明方式。其次,本文将这一结果扩展到等变网络中,该领域的理论研究相对较少。最后,本文的结果表明,相同的参数可以在具有不同规模的图上近似实现一定的函数。
May, 2019
本文研究线性神经网络层,特别是在深度学习架构中核心的具有排列不变性或等变性的网络层;针对这一特性,作者对其进行了参数化以及基于对称群作用下的标准基元轨道的和来表示排列等变线性层;进一步,本文介绍了一种基于低秩张量分解计算的基元,该基元比轨道基元的计算代价更低,最后提出了一种算法来实现这些基元相乘。
Mar, 2023
本文提出了一个理论框架,可以比较图神经网络架构的表达能力,证明了实用 GNN 的第一近似保证,FGNN 被证明是最具表现力的架构之一,在 Quadratic Assignment Problem 中的应用表明 FGNN 能够比现有的基于谱、SDP 或其他 GNN 架构的算法表现得更好。
Jun, 2020
图神经网络 (GNNs) 和欧几里德卷积神经网络 (CNNs) 的等变性对称性不同,本篇论文侧重于探讨 GNNs 的主动对称性,通过对信号在固定图上的支持进行学习,将近似对称性形式化为图粗化,提出了一个偏差 - 方差公式来量化损失表达性与学习估计的规则性之间的权衡,实验证明,选择比图自同构群大但小于全排列群的适当大的群可以达到最佳泛化性能。
Aug, 2023
本研究提出了一种置换不变的方法来建模图,并使用基于置换等变的多通道图神经网络来建模数据分布。 实验表明,该方法在学习离散图算法方面具有很好的能力,并在基准数据集上实现了比现有模型更好或相当的结果。
Mar, 2020