PairNorm：解决 GNN 中的过度平滑问题
通过引入两个过度平滑度衡量指标以及可微分的分组正规化技术（DGN），增加同一组内节点的平滑度，同时在不同组之间分离节点分布以显着减轻过度平滑的问题，使得 GNN 模型更加鲁棒，并实现更好的性能与更深层次的 GNN。
Jun, 2020
本文研究了对图神经网络进行归一化的有效方法，将 InstanceNorm 与 BatchNorm 和 LayerNorm 进行比较，证明了 InstanceNorm 对 GNNs 的预处理效果最好。同时，我们也发现 InstanceNorm 的偏移操作可能会导致 GNNs 的表现能力下降，因此引入了可学习的 GraphNorm 对表现力下降的问题进行纠正，实验证明使用 GraphNorm 推出的 GNN 准确率得到了显著提升。
Sep, 2020
本研究探讨了图神经网络中的过度平滑问题，并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段，验证了该理论，并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果，结果与有限大小的图卷积网络相吻合。
Jun, 2024
本篇论文通过严密的数学分析，将注意力机制的图神经网络视为非线性时变动力系统，并将不均匀矩阵的乘积和联合谱半径的理论工具和技术纳入分析，证明了注意力机制无法避免过度平滑，并且会以指数方式失去表达能力
May, 2023
本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。
Jun, 2020
本文从优化的角度解释了当前的图卷积操作存在的过度平滑问题，并引入了两个衡量节点级任务上过度平滑的度量标准，提出了一种新的卷积核 GCN+，并在真实的数据集上证明了其在节点分类任务上的优秀性能表现。
Sep, 2020
该研究证明了在图神经网络和转换器中过度平滑现象是由于维度坍塌而引起的，并提出了一种名为 ContraNorm 的归一化层，该层能够预防完全坍塌和维度坍塌现象，在各种真实世界的数据集上均能有效提高模型性能。
Mar, 2023
本文提出了一种使用节点嵌入关系明确缓解图神经网络（GNNs）中超平滑问题的新方法。通过在真实数据集上进行试验，表明利用节点嵌入关系使得 GNN 模型如 Graph Attention Network 对超平滑的鲁棒性更强，并且在更深的 GNNs 下取得更好的性能。我们的方法可以与其他方法结合使用，以获得最佳性能。
Jan, 2023