MMJun, 2023

使用 ReLU 激活函数的图神经网络初始化和架构选择原则

PDF
TL;DR本文提出了三个初始化和架构选择原则的验证，在有限宽度图神经网络（GNN）和 ReLU 激活下，通过证明得出使用 He-initialization，并在初始时使用残差聚合运算符和残差连接的实践可以显著提高深度 ReLU GNN 在各种任务上的早期训练动力学。
finite width graph neural networksrelu activationsinitializationoversmoothingresidual connections
发现论文，激发创造
  • 如何开始训练：初始化和架构的影响

    本文针对深度 ReLU 神经网络早期训练的两种常见失效模式进行研究和识别，为每种模式提供了严格的证明以及如何避免。我们证明了正确的权重初始化以及架构可以使得深层神经网络成功训练，并在实验中证实了我们的理论结果的有效性。

    Mar, 2018

  • 深且窄的前馈神经网络的改进权重初始化

    通过引入新的权重初始化方法，本论文证明了所提出的初始权重矩阵的特性，展示了这些特性如何促进信号向量的有效传播，并通过一系列实验和与现有方法的比较展示了新的初始化方法的有效性。

    Nov, 2023

  • 深层门控网络：深度学习训练和泛化的框架理解

    通过深门控网络作为框架，理论分析和实验验证了几种 DGNs 变体，阐述了深度神经网络的训练和泛化方面的问题，着重讨论了为什么增加深度能帮助训练到一定程度，而增加深度会伤害训练，以及证明了门控自适应在泛化中的关键作用。

    Feb, 2020

  • 深度神经网络中的权重初始化

    本文阐述了权重初始化对神经网络收敛的关键性，通过研究非线性激活函数的影响，提出了一种通用的权重初始化策略，并解释了为什么 Xavier 初始化在 Rectified Linear Unit 激活函数下效果不佳。

    Apr, 2017

  • 使用近似梯度下降学习图神经网络

    该论文提供了第一个针对具有一个隐层节点信息卷积的图神经网络（GNN）的可证明有效的学习算法，并开发了一种综合性框架来设计和分析 GNN 训练算法的收敛性。提出的算法适用于各种激活函数，包括 ReLU，Leaky ReLU，Sigmoid，Softplus 和 Swish，并对样本复杂度进行了特征化。数值实验进一步验证了理论分析。

    Dec, 2020

  • 通过梯度下降学习具有一层 ReLU 的神经网络

    本文研究从标准高斯分布采样输入，从嘈杂的教师网络生成输出的一层隐藏神经网络的学习问题。研究分析了梯度下降在基于经验风险最小化的训练中的性能，并提供了算法相关的保证，证明了张量初始化后跟随梯度下降可以以线性速率收敛到地面真值参数，证明本文是第一个表征实际学习具有多个神经元的一层 ReLU 网络的恢复保证的工作。数值实验验证了我们的理论发现。

    Jun, 2018

  • 残差连接和归一化能够在图神经网络中可证明地防止过度平滑

    本文研究了图神经网络中残差连接和标准化层的作用，并提出了一种名为 GraphNormv2 的归一化层，以解决过度平滑问题。

    Jun, 2024

  • 图神经网络的图适应性整流线性单元

    提出了一种新的参数激活函数 GReLU，它将拓扑信息嵌入到非线性激活函数中，以使更新函数感知到邻居之间的相互关系，从而提高 Graph Neural Networks 的能力，实验结果表明 GReLU 方法有效。

    Feb, 2022

  • 关于近似 ReLU 神经网络参数的增长

    对于具有最先进的逼近误差的 ReLU 结构，本研究的主要结果是其实现参数的增长至多是多项式的，与现有结果相比，在大多数情况下，特别是对于高维输入，该增长率优于现有结果。

    Jun, 2024

  • 深度神经网络的稀疏感知泛化理论

    本文研究了深度神经网络的泛化能力和节点稀疏性之间的关系，通过开发一个基于减小的有效模型大小的框架来证明了稀疏和泛化之间的基本权衡关系，并提出了一种新的方法来分析这个问题。

    Jul, 2023