Oct, 2021

关于 ReLU 神经网络的最佳记忆能力

PDF
TL;DR本研究探讨了前向 ReLU 神经网络的记忆能力，发现使用大约 O (sqrt (N)) 个参数可以记忆任何满足一定可分性假设的 N 个点。我们还提出了一个更一般化的构造，可以使用更少的大约 N/L 个参数记忆 N 个样本，其中 1≤L≤sqrt (N)。我们的构造使用具有大位复杂度的权重，证明了这种大位复杂度对于用一个次线性数量参数进行记忆既是必要的又是充分的。
feedforward relu neural networksmemorization powervc-dimensionseparability assumptionbit complexity
发现论文，激发创造
  • 小型 ReLU 网络具有强大的记忆能力：记忆容量的严密分析

    研究了 ReLU 网络的有限样本表达能力，证明了 3 层 ReLU 网络可以通过利用深度，并需要大约根号 N 个节点即可完美记忆大多数 N 个数据点，并证明大约根号 N 个节点是记忆 N 个数据点的必要和充分条件，同时证明当 W = Omega（N）时，L 层网络的带权参数可以记忆 N 个数据点。在全局位置假设下分析了负残差网络的记忆能力，并研究了随机梯度下降的动力学，证明了当在经验风险的记忆全局最小值附近初始化时，SGD 可以很快找到风险更小的附近点。

    Oct, 2018

  • 双层神经网络在记忆中的网络尺寸和权重尺寸

    使用复合的神经元重组，提出一种新的针对 ReLU 网络的训练方法，使得仅需使用数目较少的神经元就可以进行近似记忆，并且权重大小接近最优。

    Jun, 2020

  • 利用亚线性参数的深度神经网络实现可证明的记忆

    通过利用神经网络的深度，本文表明在输入点之间存在较小的条件下，$O (N^{2/3})$ 参数就足以记住 $N$ 个输入对，并提供了支持我们理论结果的实证结果。

    Oct, 2020

  • 具有条件计算的神经网络的记忆容量

    研究神经条件计算的基本限制和记忆能力，展示条件 ReLU 网络可以用更少的算术操作完成相同任务，还介绍了一种将无条件网络合成为条件网络的有效方法。

    Mar, 2023

  • 几乎无过度参数化的神经网络学习和记忆

    本文研究了通过神经网络算法实现各种模型的多项式时间可学习性，证明了 SGD 在深度为二的神经网络上能够记忆样本、学习有界权重的多项式，以及学习某些内核空间，并且这些网络具有接近最优的网络大小、样本复杂度和运行时间。

    Nov, 2019

  • 具有阈值和 ReLU 激活函数的神经网络的记忆容量

    本文探究神经网络模型，证明了具有 sigmoid 或 ReLU 激活函数的过度参数化的模型在训练数据超过一定数量后，具有百分之百的记忆能力。

    Jan, 2020

  • 一种对深度阈值网络记忆容量的指数级提升

    本篇论文证明了深度阈网络使用近似线性的神经元与权重便可实现存储数量为 n 在 d 维度的数据。同时，藉由将神经网络存储与纯几何问题上的超平面分离联系起来，论文也证明了一些新的下界。

    Jun, 2021

  • 关于 ReLU 网络的样本复杂度的大小无关性研究

    本文研究了从推广的角度学习 ReLU 神经网络的样本复杂性，并结合权重矩阵上的范数限制，给出了与网络规模无关的上界，其中 Frobenius norms 为主要研究方向。

    Jun, 2023

  • 关于 ReLU 网络的最优逼近速率及其宽度和深度的影响

    研究如何使用深层前馈神经网络以最优近似方式处理 Holder 连续函数和 Lipschitz 连续函数，并验证 ReLU 网络在宽度和深度上的优越性，同时得出近似速率达到最优的结论。

    Feb, 2021

  • ReLU 深度神经网络的最优表达能力及其在科尔莫戈洛夫超级位置定理中的应用

    该研究论文探讨了 ReLU 深度神经网络的最佳表达能力及其在通过 Kolmogorov 叠加定理进行逼近方面的应用。研究通过构建性地证明了在 [0,1] 上，由 $O (N^2L)$ 个线性分段组成的连续分段线性函数可以通过具有 $L$ 隐藏层和每层 $N$ 个神经元的 ReLU 深度神经网络来表示。同时，通过研究 ReLU 深度神经网络的分形能力，证明了这种构建是最优的。此外，通过应用 Kolmogorov 叠加定理，在处理高维连续函数时，实现了具有任意宽度和深度的 ReLU 深度神经网络的改进逼近速度。

    Aug, 2023