本文介绍了PairNorm,一种新的归一化层,它可以使更深层的图神经网络更加健壮,并显著提高某些问题设置下的性能。
Sep, 2019
该论文提出了一种基于L0正则化的Sparse Graph Attention Networks,可以对大规模、复杂的图进行特征聚合,鲁棒性与有效性更高,达到与原始图相同或更高的预测性能;同时,其使用结果可视化和量化表达,让人更加容易理解。
Dec, 2019
本文提出了一种基于谱扩展的计算有效算法,通过系统地添加边来防止过度压缩,该算法结合使用关系架构,可让GNN保留原始图形结构并可证明防止过度平滑,实验表明我们的算法在几个图分类任务中优于现有的图重连方法。
Oct, 2022
本文从样本复杂度和收敛速率的角度,首次提供了从联合边缘-模型稀疏学习的理论特性,证明了重要节点抽样和低幅度神经元剪枝可以减少样本复杂度,提高收敛速度,而不影响测试精度。
Feb, 2023
图稀疏训练(GST)提出了一种动态调整数据层稀疏度的方法,通过Equilibria Sparsification Principle来实现拓扑和语义信息的平衡,从而产生一个具有最大拓扑完整性且没有性能下降的稀疏图。
Feb, 2024
通过在个别矩阵元素上考虑统一图传播和权重变换操作,并进行联合边权稀疏化以提高学习效率,Unifews在逐渐增加稀疏性的情况下适用于不同的架构设计,并在理论上证明了较低的计算负载以及稳定的近似学习目标。通过广泛的实验评估,Unifews在移除超过90%的边和权重条目的同时,与基准模型相当或更高的准确性方面具有优势,并在效率方面提供了显着的改进。
Mar, 2024
我们提出了一种使用增强学习进行训练的GNN方法,通过移除边和/或节点找出最具预测性的子图,同时优化图分类任务的性能,从而在与基线相竞争的性能下,依赖于更稀疏的子图,从而产生更可解释的基于GNN的预测结果。
Apr, 2024
在本研究中,我们提出了ATNPA(增强、转化、归一化、传播和聚合),总结了图神经网络(GNN)过度平滑的缓解方法,包括三个主题和六个类别的方法,并详细审查了代表性方法,包括它们与ATNPA的关系以及其优劣势。这一综述不仅深入了解了该领域现有方法,还为未来研究提供了明确的路线图。
May, 2024
使用混合图(MoG)技术对图神经网络进行图稀疏化处理,针对每个节点的特定环境选择合适的稀疏方案,并在Grassmann流形上生成最优稀疏图,从而实现更高的稀疏度水平、GNN推理速度的提升,并改善“顶级学生”GNN在性能上的表现。
基于子图的图神经网络(Subgraph GNNs)通过将图表示为子图集合来增强信息传递式图神经网络的表达能力,并引入了新的子图GNN框架以解决性能限制和子图选择问题。通过控制粗化函数,实现了对任意数量子图的有意义选择,并将其与标准训练技术兼容。实验证明,该方法比基线方法更加灵活,在处理任意数量子图时表现出更好的性能。
Jun, 2024