关于图神经网络的能力与激活函数的作用
图神经网络的表达能力可以完全用合适的一阶逻辑片段来描述。本文通过证明 GC2 查询不能由具有多项式激活函数的图神经网络表示,证明了多项式和流行的非多项式激活函数之间存在分离关系。
Oct, 2023
神经网络的计算能力与图神经网络 (GNN) 结构相对应,不仅局限于聚合 - 合并的 GNN 或其他特定类型,我们通过多样的激活函数与实数上的算术电路之间建立了精确的对应关系。在我们的结果中,网络的激活函数变成了电路中的门类型。我们的结果适用于常定深度电路和网络的各种常用激活函数,在统一和非统一的情况下都成立。
Feb, 2024
本文提出了一种拓展通用图神经网络(GNNs)的 VC 维度分析方法,研究了 GNNs 中常用的激活函数,如 sigmoid 和双曲正切函数,通过 Pfaffian 函数理论框架给出了与架构参数和 1-WL 测试结果相关的界限,理论分析得到了初步实验研究的支持。
Jan, 2024
图分区神经网络(GPNNs)是一种新颖的 GNN 架构,通过对图进行分区以及顶点集和子图之间的结构相互作用的探索,提高了 GNN 的表达能力,并在各种图基准任务中展示了超越现有 GNN 模型的卓越性能。
Dec, 2023
本研究通过引入 sigma 代数框架,将 GNN 的表现力和测试同构性的角度进行了比较,证明了不同类型的 GNN 的表现力在确定的条件下是等价的,提出了一种新的结构 Ring-GNN,该结构成功地区分了具有相同度数的非同构正则图,并在现实世界数据集上取得了良好的性能。
May, 2019
研究使用单项式激活函数的多项式神经网络 (PNNs) 的表达能力和学习过程。探讨了使用代数几何工具对某些神经流形进行研究:给出了半代数集的显式描述,并表征了其 Zariski 闭包,称之为神经多样性。研究了神经多样性的维度,并将一个代数度量,即学习度,与神经多样性相关联。维度用作网络表达能力的几何度量,学习度用作训练网络的复杂度度量,并提供了可学习函数数量的上限。这些理论结果与实验证明相伴。
Feb, 2024
GNNs 利用节点表示学习构建的强大模型在与图相关的许多机器学习问题中表现出色,但其部署的主要障碍在于社会可接受性和可信度问题,我们提出了通过挖掘隐藏层的激活规则来理解 GNN 对世界的感知,以解决这一问题,并介绍了主观激活模式领域。通过信息论的基于背景知识的方法来确定激活规则的兴趣度,从而揭示了 GNN 用于分类图的特征和不同层所构建的隐藏特征,同时这些规则还可用于解释 GNN 的决策。实验结果表明在合成和真实数据集上,这些规则在解释图分类方面具有高竞争性,可提高 200% 的准确度。
Jun, 2024
通过研究多项式激活的深度神经网络,我们提出了 “维度” 作为多项式神经网络表现力的度量标准,并探讨了它受体系结构影响的理论结果。同时,我们还将我们的研究与有利的优化性质联系起来,以及与张量和多项式分解等领域产生了有趣的关联。
May, 2019
该论文研究了图神经网络的表达能力,发现了其在深度和宽度受限时可能会失去很大一部分功效,同时提出了一种使分布式计算的经典结果得以重用的新技术,给出了各种图论问题的下界。
Jul, 2019
本研究提出一种使用特殊算法和线性代数工具来分析图神经网络 (GNNs) 的表征能力的方法,证明 NNG 可以优于 Weisfeiler-Lehman 算法,同时在图同构和图分类等数据集上进行充分实验证明了这种新型的 GNN 架构更具表达力的特点。
May, 2022