图卷积网络中性能退化的理解和解决
该论文提出了DropEdge技术来解决深层图卷积网络在节点分类中的过拟合和过度平滑问题。DropEdge技术通过随机在每个训练迭代中移除一定数量的边缘节点来进行数据扩充和信息传递减少，旨在提高广义化效果和模型收敛速度。该技术还可以与其他多个骨干模型一起使用，使得在各种浅层和深层图卷积网络中都能一致提高模型的性能表现。
Jul, 2019
本论文提出了一种新的观点，即深度图卷积网络在训练过程中可以学习抗去平滑化的能力，并设计了一种简单却有效的技巧来改善GCN训练，同时在三个引用网络上验证了结论并提供了GCN邻域聚合方面的见解。
Mar, 2020
本文提出了一种改进的基于节点转移概率的消息传递过程和一种新的正则化方法 DropNode，以解决小型图形上的过拟合和过度平滑等问题，实验发现这种方法在节点和图分类任务中要优于现有的方法。
Aug, 2020
本文研究了对图神经网络进行归一化的有效方法，将 InstanceNorm 与 BatchNorm 和 LayerNorm 进行比较，证明了 InstanceNorm 对 GNNs 的预处理效果最好。同时，我们也发现 InstanceNorm 的偏移操作可能会导致 GNNs 的表现能力下降，因此引入了可学习的 GraphNorm 对表现力下降的问题进行纠正，实验证明使用 GraphNorm 推出的 GNN 准确率得到了显著提升。
Sep, 2020
本文从优化的角度解释了当前的图卷积操作存在的过度平滑问题，并引入了两个衡量节点级任务上过度平滑的度量标准，提出了一种新的卷积核GCN+，并在真实的数据集上证明了其在节点分类任务上的优秀性能表现。
Sep, 2020
本研究提供了第一个公平、可重复的基准测试，重点研究了训练深度图神经网络中的技巧，并利用该测试在数十个代表性图数据集上进行了全面评估，证明了初始连接、标识映射、分组和批量归一化的有机组合实现了深度GNN在大型数据集上的最新成果。
Aug, 2021
本文针对图卷积网络（GCNs）在层数增多时表现下降的问题进行了研究，发现合理训练后更深的模型具有极高的训练准确性，但泛化能力较差。通过分析GCNs的泛化能力，本文提出了一种解耦结构，使得GCNs既能保留表达能力，又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。
Oct, 2021
本研究探讨了图神经网络中的过度平滑问题，并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段，验证了该理论，并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果，结果与有限大小的图卷积网络相吻合。
Jun, 2024
本研究旨在解决深度图神经网络（GNN）在层数超过8-10时性能急剧下降的问题，强调常见的过平滑现象并非主要原因。通过理论分析和实验，本论文揭示了深度多层感知器的可训练性问题是主要挑战，并提出适当限制梯度流的上界可以显著提升GNN的可训练性。实验结果验证了我们的理论发现与实证证据的一致性，推动了深度图模型的构建新思路。
Aug, 2024