深且窄的前馈神经网络的改进权重初始化

Nov, 2023

深且窄的前馈神经网络的改进权重初始化

Improved weight initialization for deep and narrow feedforward neural network

Hyunwoo Lee, Yunho Kim, Seungyeop Yang, Hayoung Choi

TL;DR通过引入新的权重初始化方法，本论文证明了所提出的初始权重矩阵的特性，展示了这些特性如何促进信号向量的有效传播，并通过一系列实验和与现有方法的比较展示了新的初始化方法的有效性。

Abstract

Appropriate weight initialization settings, along with the ReLU activation function, have been a cornerstone of modern deep learning, making it possible to train and deploy highly effective and efficient neural network models across diverse artificial intelligence. The problem of

weight initialization relu activation function dying relu deep neural networks signal vectors

发现论文，激发创造

深度神经网络中的权重初始化

本文阐述了权重初始化对神经网络收敛的关键性，通过研究非线性激活函数的影响，提出了一种通用的权重初始化策略，并解释了为什么 Xavier 初始化在 Rectified Linear Unit 激活函数下效果不佳。

Apr, 2017

采用 ReLU 非线性激活函数优化循环神经网络性能

本文针对使用 ReLU 非线性函数的循环神经网络提出一种修改后的权重初始化策略，并通过三个长期时间结构遵循的玩具问题以及一个基准动作识别问题的实验结果证实了该策略的有效性。

Nov, 2015

Dying ReLU 和初始化：理论与数值例子

本文研究深度神经网络中的 ReLU 激活函数在无限深度时可能出现神经元失活的问题，并提出一种新的不对称初始化方法以解决该问题。研究表明，该方法能够有效地预防神经元失活，并给出了实验结果进行验证。

Mar, 2019

神经网络激活函数的作用

本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

Oct, 2019

深度神经网络初始化和激活函数的选择

这篇论文研究了深度神经网络的权重初始化和激活函数对其训练性能的影响，证明了边缘混沌状态具有优异的表现，同时提出了一类叫做 Swish 的激活函数，可以优化信息传递。

May, 2018

如何开始训练：初始化和架构的影响

本文针对深度 ReLU 神经网络早期训练的两种常见失效模式进行研究和识别，为每种模式提供了严格的证明以及如何避免。我们证明了正确的权重初始化以及架构可以使得深层神经网络成功训练，并在实验中证实了我们的理论结果的有效性。

Mar, 2018

通过动态激活函数优化前馈和卷积神经网络的性能

复杂的分段线性激活函数在浅层和深层卷积神经网络中比 ReLu 激活函数效果更好，并使用 PyTorch 进行结果比较。

Aug, 2023

发现参数激活函数

本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

Jun, 2020

使用 ReLU 激活函数的图神经网络初始化和架构选择原则

本文提出了三个初始化和架构选择原则的验证，在有限宽度图神经网络（GNN）和 ReLU 激活下，通过证明得出使用 He-initialization，并在初始时使用残差聚合运算符和残差连接的实践可以显著提高深度 ReLU GNN 在各种任务上的早期训练动力学。

Jun, 2023

神经网络嵌入优化的 ReLU 激活函数线性化：最佳日前能源调度

本文研究了针对常用的修正线性单元（ReLU）激活函数的线性化方法，为将神经网络模型与 ReLU 激活函数结合的优化问题提供了有效解决工具。

Oct, 2023