- 图卷积神经网络中的转移熵
基于 Transfer Entropy 的策略可解决 Graph Convolutional Networks 中的过度平滑和节点关系属性的利用两个重要挑战，并通过使用异质性和度信息作为节点选择机制以及基于特征的 Transfer Entr - 图神经网络并非总是过度平滑
本研究探讨了图神经网络中的过度平滑问题，并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段，验证了该理论，并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果， - 修正图卷积的分析
基于图的节点分类中，机器学习和图卷积在性能上具有重要作用，但过多的图卷积会导致性能下降，本文通过理论分析和实证研究，提供了一种基于去除主特征向量的改进图卷积方法，且对于部分和完全分类都取得了显著的性能提升。
- 了解虚拟节点：过度平滑、过度压缩和节点异质性
通过增加虚拟节点（VN）来消除层聚合的局部性限制，我们对消息传递神经网络（MPNNs）的角色和优势进行了全面的理论分析，通过过度平滑、过度压缩和敏感性分析的视角。我们提出了一种变种的 VN，具有相同的计算复杂度，可以根据图结构对不同节点进行 - ATNPA: 图神经网络中过度平滑缓解的统一视图
在本研究中，我们提出了 ATNPA（增强、转化、归一化、传播和聚合），总结了图神经网络（GNN）过度平滑的缓解方法，包括三个主题和六个类别的方法，并详细审查了代表性方法，包括它们与 ATNPA 的关系以及其优劣势。这一综述不仅深入了解了该领 - 图神经网络中的熵感知消息传递
本文介绍了一种受物理启发的 GNN 模型，用于改善深度图神经网络中的过度平滑问题，该模型与现有的 GNN 架构相集成，引入了一种熵感知的消息传递项，在节点聚合过程中执行熵的梯度上升，从而在嵌入中保留一定程度的熵。我们通过对多个常见数据集进行 - 从算子半群理论的角度理解基于扩散的 GNN 中的过度平滑现象
通过运算子半群理论，本论文探讨了扩散型图神经网络（GNNs）中的过平滑问题并证明了过平滑与扩散算子的遍历性相关。我们提出了一种普适且理论基础良好的方法来缓解扩散型 GNNs 中的过平滑问题，并对我们的理论进行了概率解释，从而与之前的研究建立 - AAAI学习在图上近似自适应核卷积
基于扩散核的扩散学习框架在图神经网络中控制了特征聚合范围，解决了节点级分类和过度平滑化的问题，并具备在阿尔茨海默病分类中实际应用的可行性。
- Transformer 过度平滑的真相
Transformer 模型在不同领域取得了巨大的成功，但近期的研究发现，Transformer 本质上是低通滤波器，会逐渐过度平滑输入，从而降低其表达能力。然而，根据本研究，Transformer 是否过度平滑取决于其更新方程的特征频谱， - 提升表达能力的非冗余图神经网络
基于邻域树的新型聚合方案提高了表达能力，减轻了过度压缩，并通过神经树规范化技术提供了高分类准确性。
- 图上的逐层训练自监督学习
图神经网络 (GNN) 的端对端训练在大型图上存在多个存储和计算上的挑战，通过自监督的方式，我们提出了逐层规则化图信息最大化算法以逐层训练 GNN，通过解耦特征传播和特征转换来学习节点表示，从而得出基于对未来输入预测的损失函数。我们在归纳大 - 具有平滑感知信息传播的深度图神经网络的低比特量化
图神经网络的规模和层数的扩展性方面存在挑战，本论文提出一种端到端的解决方案，采用量化方法来压缩模型以提高效率，在资源受限环境中实现高精度的图神经网络，并解决深层图神经网络中的过度平滑问题。
- MM使用 ReLU 激活函数的图神经网络初始化和架构选择原则
本文提出了三个初始化和架构选择原则的验证，在有限宽度图神经网络（GNN）和 ReLU 激活下，通过证明得出使用 He-initialization，并在初始时使用残差聚合运算符和残差连接的实践可以显著提高深度 ReLU GNN 在各种任务上 - 扩展规模，扩展深度：基于块的图形对比学习
本文首先从过度平滑的角度，对一种名为 “图对比学习” 的图卷积网络技术进行了分析，发现其存在类似于神经网络过度平滑的问题，并提出了一个简单有效的 “BlockGCL” 训练框架用于解决这个问题，并在真实的图数据集上取得了较好的效果。
- 自注意力层
通过对 transformer 中不同标记和 graph neural network 中不同节点在深层的相似性进行分析，我们提出了一个简单的修正项，它可以有效地消除过度平滑问题，在弱监督分割任务上表现优于通常基准方法，并且在非常深的图神经 - 关于注意力图神经网络中过度平滑现象的揭秘
本篇论文通过严密的数学分析，将注意力机制的图神经网络视为非线性时变动力系统，并将不均匀矩阵的乘积和联合谱半径的理论工具和技术纳入分析，证明了注意力机制无法避免过度平滑，并且会以指数方式失去表达能力
- 一种用分数图拉普拉斯算子解决过度平滑问题的方法
该文研究了图神经网络中过度平滑问题，并针对无向图将其概念推广至有向图，通过引入指向对称规范化拉普拉斯算子并提出分数图拉普拉斯神经 ODE 框架，实现了在节点间传播信息的同时缓解了过度平滑问题，证明了该方法的有效性并在合成和真实世界的有向无向 - GCNH: 异质图上的简单表示学习方法
我们提出了 GCNH，是一种简单但有效的 GNN 架构，适用于异构和同质图形，并使用一个学习的重要系数平衡中心节点和邻域的贡献，可以解决异构图上性能问题和过度平滑问题。
- ICLRContraNorm：对过度平滑以及更多问题的对比学习视角
该研究证明了在图神经网络和转换器中过度平滑现象是由于维度坍塌而引起的，并提出了一种名为 ContraNorm 的归一化层，该层能够预防完全坍塌和维度坍塌现象，在各种真实世界的数据集上均能有效提高模型性能。
- 使用主轴树构建简单图卷积的图形结构
通过使用非监督和监督信息，我们介绍了一种构建邻接矩阵 A 的图形构建方案。我们使用主轴树（PA-trees）作为非监督信息的来源，惩罚和本质图形连接不同类标签的点，而本质图形连接具有相同类标签的点。通过两个著名的图形神经网络进行测试，显示使