Aug, 2023

图神经网络中的排名崩溃导致过度平滑和过度相关

PDF
TL;DR我们的研究揭示了深度图神经网络中的超平滑和特征过相关性的新的理论洞见。我们展示了不变子空间的普遍性，证明了固定的相对行为不受特征变换的影响。在线性场景中，这导致节点表示被低维子空间主导，其渐近收敛速率与特征变换无关，这导致节点表示的秩崩溃，从而在平滑向量跨越该子空间时产生超平滑，在避免超平滑的情况下产生超相关。根据我们的理论，我们提出了作为有益属性的 Kronecker 乘积之和，可以明确防止超平滑、超相关和秩崩溃。我们从实证角度将我们的洞见扩展到非线性情况，证明了现有模型无法捕捉线性独立特征。
发现论文，激发创造
  • 深度图神经网络的特征过度相关性：新的视角

    该论文提出了一个新视角来观察深度图神经网络表现下降的问题，即特征过度相关性。作者通过理论和实证探究了这一问题的存在及可能的原因，并提出一个名为 DeCorr 的通用框架来消除特征冗余信息，从而减少特征相关性问题，实验证明提出的方法可以帮助深度图神经网络在解决过度平滑问题中起到补充作用。

    Jun, 2022

  • Riemannian 图神经网络中的过度压缩

    本研究探索了通过图神经网络的嵌入空间来减轻过度压缩现象，特别关注于将双曲型图神经网络推广到可变曲率的黎曼流形，以使嵌入空间的几何与图的拓扑相符，通过提供敏感性的界限结果，实现在具有负曲率的图中减轻过度压缩的有希望的理论和实证结果。

    Nov, 2023

  • 神经排序崩溃：权重衰减和小的内类变异性带来低秩偏差

    深度学习中的低秩偏好与神经网络的神经层塌陷现象相关，权重衰减参数的增长导致网络中每一层的秩与前一层隐藏空间嵌入的类内变异成正比减少。

    Feb, 2024

  • 图神经网络中过度平滑问题的注记

    本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。

    Jun, 2020

  • 基于信息收缩和图扩展视角的 GNN 过度挤压问题

    提出一种用于分析过度压缩的基于信息收缩的框架，此分析是基于 von Neumann 的可靠计算模型的，该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时，本研究提出了一种基于重连的算法来缓解过度压缩问题。

    Aug, 2022

  • 从图的视角重新审视 BERT 中的过度平滑问题

    本文针对 Transformer-based models 中存在的过度平滑问题，从图的角度进行分析，发现标准化层在过度平滑问题中发挥了关键作用，提出了一种基于层次融合策略的方法以缓解该问题。

    Feb, 2022

  • 理解图神经网络中过度平滑和过度压缩之间的关系

    本研究旨在从拓扑学的角度理解深度图神经网络中关于过度平滑和过度挤压的交错关系，发现这两个问题的本质相似性，并提出了一种基于 Ollivier 的 Ricci 曲率边界的随机 Jost 和 Liu 曲率重连算法 (SJLR)，该方法比以前的基于曲率的重连方法更简单且更经济实惠，旨在帮助减轻过度平滑或过度挤压的影响并更好地理解这两个问题。

    Dec, 2022

  • 图神经网络并非总是过度平滑

    本研究探讨了图神经网络中的过度平滑问题，并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段，验证了该理论，并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果，结果与有限大小的图卷积网络相吻合。

    Jun, 2024

  • 训练不变量和低秩现象：超越线性网络

    本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

    Jan, 2022

  • 图神经网络特征演化的神经倒塌视角

    本文探讨了图神经网络中的特征演变与拓扑关系，并通过 “神经崩溃” 现象展示了节点分类中的该现象。作者进行了实证研究和理论分析，发现理论模型要求图满足一定严格的结构条件才能得到准确的收缩，并最终通过对图神经网络的研究比较了不同层之间的特征变化与光谱方法的差异。

    Jul, 2023