用特征值修正提高谱图神经网络的表达能力
使用光谱特征的图神经网络(GNNs)已显示出有希望的结果,但由于特征向量的固有模棱两可性,这提出了一项基本挑战。已经提出了几种架构来解决这种模棱两可性,被称为光谱不变架构。其中几个著名的例子包括使用光谱距离、光谱投影矩阵或其他不变光谱特征的 GNNs 和图变换器。然而,这些光谱不变架构的潜在表达能力仍然不太清楚。本研究的目标是在使用光谱特征时获得深入的理论理解可获得的表达能力。我们首先介绍了一种用于设计光谱不变 GNNs 的统一传递信息框架,称为特征空间投影 GNN(EPNN)。全面的分析表明,EPNN 本质上统一了所有先前的光谱不变架构,因为它们要么严格不可表达,要么与 EPNN 等价。还建立了不同架构之间的细粒度表达层次结构。另一方面,我们证明了 EPNN 本身被一种最近提出的子图 GNNs 类所约束,这意味着所有这些光谱不变架构严格不可表达 3-WL。最后,我们讨论了结合更具表达能力的 GNNs 时是否可以通过使用光谱特征来获得额外的表达能力。
Jun, 2024
本文研究了基于图信号滤波器的谱图神经网络的表达能力,证明了无需非线性函数就可产生任意图信号,并建立了表达能力与图同构测试之间的联系。提出了一种名为 JacobiConv 的新型谱图神经网络,该网络能在不使用非线性函数的情况下超越所有对比算法。
May, 2022
设计有效的位置编码对于构建强大的图形变压器和增强消息传递图神经网络至关重要。我们提出了稳定且表达能力强的位置编码(SPE),它是第一个经过验证的稳定架构,同时尊重特征向量的所有对称性,并且至少与现有方法一样具有表达能力,对于基础不变函数非常强大,同时在分子属性预测和超出分布泛化任务上表现出改进的泛化性能。
Oct, 2023
研究 Laplacian 加权图的频谱,证明可以变化权重而得到简单特征值和 Fiedler 向量,这与经典的结构变动研究不同,打开了理解复杂系统动力学影响的机会。
Apr, 2017
本文提出三种基于幂法、逆幂法和移位逆幂法的神经网络,利用自动微分实现微分算子,学习线性特征值问题的特征函数并通过特殊定义的损失函数进行迭代,通过数值实验检验了方法的适用性和准确性,得出了我们方法可以获得准确的特征值和特征函数逼近的结论。
Sep, 2022
研究神经网络学习使用不同激活函数的函数类的问题,探讨了最小的假设条件,该假设条件相应于 Gram 矩阵的特征值衰减。通过足够强的多项式特征值衰减,他们获得了所有相关参数的多项式时间算法,这是对 ReLU 网络的第一个以纯分布假设为基础的支持多项式时间算法的假设。特征值衰减是实际数据集上的观察结果。
Aug, 2017
本文介绍了拉普拉斯矩阵的第二特征值和相关特征向量在无向图中的基本特征,并提出了第二特征向量的局部偏差模型,用于半监督方式下确定数据图的本地性质和优化问题,从而可以在近线性时间内计算最优解,并提供了在社交和信息网络中找到具有局部偏差的稀疏线性切割的详细实证评价。
Dec, 2009
该论文提出了一种新的自适应 Krylov 子空间方法,通过优化多项式基,在图谱上实现了对不同异质度的图进行自适应滤波,并利用扩展的 AdaptKry 捕捉图的复杂特征并提供对其内在复杂性的见解。
Mar, 2024
本文介绍了 GRASP 模型,这是一种基于图拉普拉斯矩阵的频谱分解和扩散过程的新颖的图生成模型。我们使用去噪模型从图上采样特征向量和特征值,通过它们可以重构图拉普拉斯矩阵和邻接矩阵。该模型能够处理节点特征,并利用拉普拉斯谱自然地捕捉图的结构特性,在避免其他方法的二次复杂度限制的同时,直接在节点空间中进行操作。我们的实验结果表明,通过截断谱,我们的模型能够更快速而准确地进行生成过程,相对于其他现有方法具有较强的优势。
Feb, 2024
通过结合异质性度和同质性度,我们提出了一种新的通用多项式滤波器 UniFilter,采用了自适应异质性基础 UniBasis,并证明了它在图分析中的优越性和广泛适用性。
Nov, 2023