vanishing and exploding gradient | BriefGPT

关键词vanishing and exploding gradient

搜索结果 - 1

深度神经网络中使用正交初始化解决梯度不稳定性的生物合理性探究
本文提出了两种初始化方案，允许网络自然演化其权重形成正交矩阵，并提供理论分析，预先训练正交化始终收敛，并通过实验证实，所提出的方案优于随机初始化的递归和前向网络。
PDF2 years ago