活动函数不同,图神经网络在两层迭代中可以区分两个非同构树的根节点,但是若网络的大小被限制,其区分能力将受到限制。
Jul, 2023
神经网络的计算能力与图神经网络 (GNN) 结构相对应,不仅局限于聚合 - 合并的 GNN 或其他特定类型,我们通过多样的激活函数与实数上的算术电路之间建立了精确的对应关系。在我们的结果中,网络的激活函数变成了电路中的门类型。我们的结果适用于常定深度电路和网络的各种常用激活函数,在统一和非统一的情况下都成立。
Feb, 2024
在这篇论文中,我们研究了图神经网络的逻辑表达能力,特别是其作为多关系图上的布尔节点分类器的能力,并提出了一种简单的图转换技术来增强图神经网络的表达能力。我们还将研究扩展到了时间图上,并通过实验证明了我们的发现。
Nov, 2023
研究使用单项式激活函数的多项式神经网络 (PNNs) 的表达能力和学习过程。探讨了使用代数几何工具对某些神经流形进行研究:给出了半代数集的显式描述,并表征了其 Zariski 闭包,称之为神经多样性。研究了神经多样性的维度,并将一个代数度量,即学习度,与神经多样性相关联。维度用作网络表达能力的几何度量,学习度用作训练网络的复杂度度量,并提供了可学习函数数量的上限。这些理论结果与实验证明相伴。
本文旨在阐述图神经网络的表达能力可以通过组合 Weisfeiler-Leman 算法和有限变量计数逻辑来精确描述,这种对应关系甚至导致了高阶图神经网络与高维 WL 算法的相应。
Apr, 2021
本文提出了一种拓展通用图神经网络(GNNs)的 VC 维度分析方法,研究了 GNNs 中常用的激活函数,如 sigmoid 和双曲正切函数,通过 Pfaffian 函数理论框架给出了与架构参数和 1-WL 测试结果相关的界限,理论分析得到了初步实验研究的支持。
Jan, 2024
通过研究图卷积网络的表示能力,我们发现 GCNs 在学习图瞬间时有一定限制,而使用不同传播规则的模块化 GCN 设计可以显著提高其性能和表示能力。
Jul, 2019
通过研究多项式激活的深度神经网络,我们提出了 “维度” 作为多项式神经网络表现力的度量标准,并探讨了它受体系结构影响的理论结果。同时,我们还将我们的研究与有利的优化性质联系起来,以及与张量和多项式分解等领域产生了有趣的关联。
May, 2019
GNNs 利用节点表示学习构建的强大模型在与图相关的许多机器学习问题中表现出色,但其部署的主要障碍在于社会可接受性和可信度问题,我们提出了通过挖掘隐藏层的激活规则来理解 GNN 对世界的感知,以解决这一问题,并介绍了主观激活模式领域。通过信息论的基于背景知识的方法来确定激活规则的兴趣度,从而揭示了 GNN 用于分类图的特征和不同层所构建的隐藏特征,同时这些规则还可用于解释 GNN 的决策。实验结果表明在合成和真实数据集上,这些规则在解释图分类方面具有高竞争性,可提高 200% 的准确度。
Jun, 2024
我们提出了一种能够有效捕捉高阶关系进行推理和学习的因子图神经网络模型,并通过适当选择信息聚合操作,实现了 Max-Product 和 Sum-Product 循环置信传播的单一架构。通过在真实和合成数据集上进行广泛的实验评估,证明了该模型的潜力。
Aug, 2023