Nov, 2021

具有线性阈值激活函数的神经网络：结构与算法

PDF
TL;DR本文研究了使用线性阈值激活函数的神经网络，探究了这种类型的函数可以被表示的范围，证明了用两层隐藏层可以表示任何在这个范围内的函数。同时提出了一种算法，用于解决这种类型神经网络的经验风险最小化问题，可以在多项式时间内进行。基于这些研究发现，我们提出了一种新型神经网络 —— 快捷线性阈值网络。
neural networkslinear threshold activation functionshidden layersalgorithmshortcut linear threshold networks
发现论文，激发创造
  • 使用修正线性单元理解深度神经网络

    本文研究使用带有 ReLU 的深度神经网络能够代表的函数家族，提供了一个训练一个 ReLU 深度神经网络的一种算法，同时提高了在将 ReLU 神经网络函数逼近为浅层 ReLU 网络时已知下限的上界，并证明了这些间隙定理。

    Nov, 2016

  • 具有阈值激活函数的神经网络全局优化训练

    本文研究了具有阈值激活函数的神经网络的权重衰减正则化训练问题，发现在网络的最后一个隐藏层宽度超过一定阈值时，这些问题可以被等价地形式化为标准的凸优化问题，类似于 LASSO 方法，并且通过各种数字实验验证理论结果。

    Mar, 2023

  • 线性神经网络层促进单 / 多指数模型学习

    本文探讨了超参数神经网络中大于两层的隐式偏差。通过添加线性层，可以优化神经网络的表示成本，并提高实际子空间的准确匹配度与预测性能。

    May, 2023

  • 关于 ReLU 神经网络的深度下界

    本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

    May, 2021

  • 神经网络中激活函数的小非线性性会引起糟糕的局部最小值

    本研究探讨神经网络的损失面。结果表明，大多数情况下，即使对于具有最轻微的非线性的单隐藏层网络，经验风险也有伪局部最小值。我们对深线性网络的全局最优性进行了全面的表征，统一了这个主题上的其他结果。

    Feb, 2018

  • 神经网络激活函数的作用

    本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

    Oct, 2019

  • 具有阈值和 ReLU 激活函数的神经网络的记忆容量

    本文探究神经网络模型，证明了具有 sigmoid 或 ReLU 激活函数的过度参数化的模型在训练数据超过一定数量后，具有百分之百的记忆能力。

    Jan, 2020

  • 线性可分数据上的 ReLU 网络学习：算法，最优性和泛化

    本文提出了一种新的随机梯度下降算法，利用随机噪声扰动，无需任何假设于数据分布、网络大小和训练集大小，就能够证明地达到单隐藏层 ReLU 网络的全局最优性，同时提出了一些一般的泛化保证，此外，数值测试结果也验证了算法和理论的实用性。

    Aug, 2018

  • 非线性逼近和（深层）ReLU 网络

    该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

    May, 2019

  • 理性神经网络

    本文探讨了神经网络中的有理激活函数，证明了有理神经网络比指数小的深度下的 ReLU 神经网络更高效地逼近光滑函数，并通过数值实验证明了有理激活函数的灵活性和平滑性使其成为 ReLU 的有吸引力的替代选择。

    Apr, 2020