通过图神经网络在处理各种与图相关的下游任务中显著提升的性能，本文分析了其在浅层模型中的限制因素，提出了一种软图归一化方法以解决过度平滑和优化困难等问题。同时，基于课程学习的启示，提出了一种基于标签平滑的学习框架，通过逐渐平滑标签和构建逐渐复杂的任务来增强深度图神经网络的优化过程，并减少过拟合风险，得出更好的结果。通过与其他现有方法的比较，通过在 12 个真实世界的节点分类基准测试中广泛实验，证明了所提出模型和学习框架的有效性和潜力。
Dec, 2023
本论文从路径分解的角度研究 GNNs 中残差连接的前向和后向传播行为，发现由残差连接路径的二项式分布递归聚合的中位数长度路径控制输出表示，导致 GNNs 深度加深时的过度平滑。基于这些发现，作者提出了一种带有冷启动自适应残差连接和前馈模块的通用深度 GNNs 框架（UDGNN-DRIVE），并进行了大量实验表明其有效性，可通过简单堆叠标准 GNNs 实现非平滑异构数据集上的最新结果。
May, 2022
通过引入两个过度平滑度衡量指标以及可微分的分组正规化技术（DGN），增加同一组内节点的平滑度，同时在不同组之间分离节点分布以显着减轻过度平滑的问题，使得 GNN 模型更加鲁棒，并实现更好的性能与更深层次的 GNN。
Jun, 2020
本研究探讨了图神经网络中的过度平滑问题，并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段，验证了该理论，并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果，结果与有限大小的图卷积网络相吻合。
Jun, 2024
本文介绍了 PairNorm，一种新的归一化层，它可以使更深层的图神经网络更加健壮，并显著提高某些问题设置下的性能。
Sep, 2019
本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。
本文提出了一种使用节点嵌入关系明确缓解图神经网络（GNNs）中超平滑问题的新方法。通过在真实数据集上进行试验，表明利用节点嵌入关系使得 GNN 模型如 Graph Attention Network 对超平滑的鲁棒性更强，并且在更深的 GNNs 下取得更好的性能。我们的方法可以与其他方法结合使用，以获得最佳性能。
Jan, 2023
本文提出了通过优化四个不同层面的加权组合来学习图归一化的方法，其中包括节点归一化、邻接归一化、图归一化和批归一化。在不同数据集和任务中，学到的权重可以选择最优的归一化技巧，实现竞争性结果。
Sep, 2020
本篇论文通过严密的数学分析，将注意力机制的图神经网络视为非线性时变动力系统，并将不均匀矩阵的乘积和联合谱半径的理论工具和技术纳入分析，证明了注意力机制无法避免过度平滑，并且会以指数方式失去表达能力
May, 2023
本研究论文讨论了使用图神经网络（GNNs）进行学习和预测任务的关键，包括如何通过修改信息传递机制来提高学习和加快收敛。
Nov, 2023