Jun, 2018

固定大小的神经网络生成函数集的拓扑性质

PDF
TL;DR分析神经网络固定尺寸的函数集的拓扑特征表明，这个集合有许多不良属性，包括高度非凸性，对 $L^p$ 范数的不闭合性，对权重不具有反稳定性等等，这表明深度学习训练过程中存在潜在的收敛性，参数爆炸和学习缓慢等问题。
neural networkstopological propertiesactivation functionstraining procedureconvergence
发现论文，激发创造
  • 深度神经网络的拓扑学

    通过对二元分类问题的数据集进行拓扑学分析，研究网络层数对于数据拓扑的影响，发现神经网络能够通过非同胚映射改变数据的拓扑结构，且 ReLU 激活函数能更有效地实现拓扑的转换。

    Apr, 2020

  • ReLU 激活函数的神经网络参数化有多退化？

    研究神经网络的优化问题，发现常见的损失函数在实现空间上是凸的，通过使用神经网络的近似能力来处理非凸性问题，利用 Sobolev norm 来建立一种限制的参数化空间来实现反稳定性，并证明在受限制的参数化空间内优化仍然可以学习任何可通过无限制优化学习的函数。

    May, 2019

  • 神经网络宽度的数据拓扑相关上界

    本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系，并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作，可以逼近一个由紧凑凸多面体包围的指示函数，同时拓展到单纯复合体，以拓扑空间的 Betti 数限制推导上界，并进一步证明了三层 ReLU 网络的通用逼近性质。

    May, 2023

  • 深且狭窄的神经网络不是万能逼近器

    本文研究神经网络架构对其所能近似的所有函数的级集所施加的拓扑限制，这种方法是独特的，因为它的限制是独立于广泛家族的激活函数的网络深度的。

    Sep, 2018

  • 神经网络中激活函数的小非线性性会引起糟糕的局部最小值

    本研究探讨神经网络的损失面。结果表明，大多数情况下，即使对于具有最轻微的非线性的单隐藏层网络，经验风险也有伪局部最小值。我们对深线性网络的全局最优性进行了全面的表征，统一了这个主题上的其他结果。

    Feb, 2018

  • 由随机神经网络生成的函数的非线性点

    探讨了一种带 1 个隐藏激活层、任意宽度和 ReLU 激活函数的神经网络，研究了神经网络的偏差，解释了为何神经网络可能更偏好具有更简单的几何形状和为何某些低信息熵函数对于神经网络来说仍然难以近似。

    Apr, 2023

  • 多元神经网络学习真实目标函数

    通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。

    Nov, 2016

  • 利用凸神经网络打破维度诅咒

    研究神经网络单隐层的一般化性能，使用非欧几里得正则化工具，证明了它们适应未知的线性结构，而使用稀疏感应规范则可以实现高维非线性变量选择，提供了简单的几何解释，并提供了一些凸松弛的简单条件来实现相同的一般化误差界限，留下存在或不存在多项式时间算法的问题。

    Dec, 2014

  • 神经网络在逼近良函数时的规模和深度分离

    利用 ReLU 网络对可计算的具有多项式界的 Lipschitz 常数的函数进行逼近时，深度和大小如何影响其表达能力，深度越大亦或者规模越大准确度是否更高是研究中的主要难点，并探讨了相应的难题和所带来的挑战。我们的统计结果显示出了一些计算复杂性中的难点，同时也指出了一些可表示为具有布尔函数的形式，利用神经网络和阈值电路进行计算时具有线性的下界，这一研究也具有独立的意义。

    Jan, 2021

  • 1-Lipschitz 神经网络基于 N - 激活的表达更加丰富

    通过研究激活函数的角色，论文揭示了常用的激活函数以及两段式分段线性函数在表达函数时的局限性，并介绍了一种新的 N - 激活函数，证明其比目前流行的激活函数更具表达能力。

    Nov, 2023