Mar, 2019

Dying ReLU 和初始化：理论与数值例子

PDF
TL;DR本文研究深度神经网络中的 ReLU 激活函数在无限深度时可能出现神经元失活的问题，并提出一种新的不对称初始化方法以解决该问题。研究表明，该方法能够有效地预防神经元失活，并给出了实验结果进行验证。
reluneuronsdeep learningasymmetric initializationweight initialization
发现论文，激发创造
  • 深且窄的前馈神经网络的改进权重初始化

    通过引入新的权重初始化方法，本论文证明了所提出的初始权重矩阵的特性，展示了这些特性如何促进信号向量的有效传播，并通过一系列实验和与现有方法的比较展示了新的初始化方法的有效性。

    Nov, 2023

  • 如何开始训练：初始化和架构的影响

    本文针对深度 ReLU 神经网络早期训练的两种常见失效模式进行研究和识别，为每种模式提供了严格的证明以及如何避免。我们证明了正确的权重初始化以及架构可以使得深层神经网络成功训练，并在实验中证实了我们的理论结果的有效性。

    Mar, 2018

  • 神经网络中的深度退化问题：初始化时全连接 ReLU 网络中角度逐渐趋近于 0

    论文研究神经网络深度退化现象和该现象与两输入的夹角随层数变化的关系，使用组合拓展方法得出随着层数增加该夹角趋近于零的精确公式，并发现这些公式与相关高斯函数的混合矩和贝塞尔数之间存在意外的组合连接。

    Feb, 2023

  • 使用修正线性单元理解深度神经网络

    本文研究使用带有 ReLU 的深度神经网络能够代表的函数家族，提供了一个训练一个 ReLU 深度神经网络的一种算法，同时提高了在将 ReLU 神经网络函数逼近为浅层 ReLU 网络时已知下限的上界，并证明了这些间隙定理。

    Nov, 2016

  • 深度神经网络中的权重初始化

    本文阐述了权重初始化对神经网络收敛的关键性，通过研究非线性激活函数的影响，提出了一种通用的权重初始化策略，并解释了为什么 Xavier 初始化在 Rectified Linear Unit 激活函数下效果不佳。

    Apr, 2017

  • ReLU 门深度神经网络在布尔输入上的下界

    该研究借助 ReLU 挖掘深度学习的奥秘，以布尔函数为背景，考察了 ReLU 网络深度对模型大小的影响，并提出一种随机限制的方法来验证 LTF-OF-RELU 电路的最优性以及 ReLU 深度网络的难以压缩性，并展示出一种 Sum-of-ReLU-of-ReLU 函数实现的不可能性。

    Nov, 2017

  • 关于 ReLU 神经网络的深度下界

    本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

    May, 2021

  • 深度本地连接 ReLU 网络的理论框架

    在深度卷积神经网络中，通过提出一种以带有 ReLU 非线性激活的网络为基础的新型理论框架，该框架通过在教师 - 学生设置中扩展学生的向前 / 向后传播，明确了数据分布，强调了分解表示，并且兼容常见的规则化技术，不会强加不现实的假设，这种框架有助于促进许多实用问题（如过拟合，概括，深度网络中的分解表示）的理论分析。

    Sep, 2018

  • 深度神经网络初始化和激活函数的选择

    这篇论文研究了深度神经网络的权重初始化和激活函数对其训练性能的影响，证明了边缘混沌状态具有优异的表现，同时提出了一类叫做 Swish 的激活函数，可以优化信息传递。

    May, 2018

  • 动态 ReLU

    本文提出动态整流器（DY-ReLU），将全局上下文编码到超函数中，并相应地适应分段线性激活函数，与其静态对应物相比，DY-ReLU 具有更强的表征能力，特别是对于轻量级神经网络，只需在 MobileNetV2 上应用 DY-ReLU，就可将 ImageNet 分类的 top-1 准确度从 72.0％提高到 76.2％，仅增加 5％的 FLOPs。

    Mar, 2020