图神经网络(GNN)在节点分类任务中通常对高度节点优于低度节点,而这种度偏见由于众多假设的不严格验证以及可能的矛盾而加剧了社会边缘化。本论文通过分析不同图过滤器的信息传递 GNN 的度偏差的起源,证明了无论 GNN 如何被训练,高度测试节点都倾向于存在更低的误分类概率。此外,论文还说明了度偏见源于与节点度相关的各种因素(如邻居的同质性和多样性)。通过将发现与先前提出的度偏差起源的假设相连接,论文支持和统一了某些假设,同时对其他假设提出了疑问。论文在 8 个常见实际网络上验证了理论发现,并基于理论和实证研究结果,描述了减轻度偏见的路线图。
Apr, 2024
通过引入两个过度平滑度衡量指标以及可微分的分组正规化技术(DGN),增加同一组内节点的平滑度,同时在不同组之间分离节点分布以显着减轻过度平滑的问题,使得 GNN 模型更加鲁棒,并实现更好的性能与更深层次的 GNN。
Jun, 2020
该论文提出了一种新的框架,使用基于节点度数的门控机制动态地调整图神经网络的层数,从而增强信息聚合的能力并减少过度平滑,通过实验验证该模型在多个数据集上表现良好。
May, 2022
本文提出了通过优化四个不同层面的加权组合来学习图归一化的方法,其中包括节点归一化、邻接归一化、图归一化和批归一化。在不同数据集和任务中,学到的权重可以选择最优的归一化技巧,实现竞争性结果。
Sep, 2020
本文提出了一种灵感来自 Bregman 距离概念的 GNNs 的新型双层优化框架,通过引入类似于 “跳跃连接” 的机制,有效地缓解了过度平滑问题,并证明了该方法在同质性和异质性图中优于原始 GNNs。实验证明,即使层数较高,Bregman GNNs 也能产生更稳健的学习精度,表明了该方法在缓解过度平滑问题方面的有效性。
Sep, 2023
本文针对传统图神经网络中存在的公平性问题,提出了一种新的 GNN 框架,使用可学习的去偏函数来消除不同节点间的度数差异所导致的偏差,以解决节点分类问题中存在的偏差。
Feb, 2023
本研究提出自动设计深层 GNN 的方法,其中添加了新型的跳跃连接以促进特征重用和缓解梯度消失问题,并允许进化算法在演化过程中增加 GNN 层数来生成更深的网络,在 Cora、Citeseer、Pubmed 和 PPI 数据集上实验表明,GNNs 的生成结果具有最先进的性能。
Nov, 2020
本研究分析图神经网络在层数增加时出现的过度平滑现象,通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件,来说明当嵌入的狄利克雷能量收敛于零时,图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力,可以得到比已有研究更简单的证明,并可处理更多的非线性问题。
本文研究了图神经网络的可扩展性和推广性,并提出了灵活的 GNNs 框架,通过多种节点更新函数和内部循环优化,使网络能够灵活适应新图并在多项推理任务中提高泛化能力。
Sep, 2022
研究了图神经网络在泛化上的机制,建立了高概率边界和其对泛化差距和梯度的影响,得出结论和实验证据相符的新认识。
May, 2023