Oct, 2018

小型 ReLU 网络具有强大的记忆能力：记忆容量的严密分析

PDF
TL;DR研究了 ReLU 网络的有限样本表达能力，证明了 3 层 ReLU 网络可以通过利用深度，并需要大约根号 N 个节点即可完美记忆大多数 N 个数据点，并证明大约根号 N 个节点是记忆 N 个数据点的必要和充分条件，同时证明当 W = Omega（N）时，L 层网络的带权参数可以记忆 N 个数据点。在全局位置假设下分析了负残差网络的记忆能力，并研究了随机梯度下降的动力学，证明了当在经验风险的记忆全局最小值附近初始化时，SGD 可以很快找到风险更小的附近点。
发现论文，激发创造
  • 关于 ReLU 神经网络的最佳记忆能力

    本研究探讨了前向 ReLU 神经网络的记忆能力，发现使用大约 O (sqrt (N)) 个参数可以记忆任何满足一定可分性假设的 N 个点。我们还提出了一个更一般化的构造，可以使用更少的大约 N/L 个参数记忆 N 个样本，其中 1≤L≤sqrt (N)。我们的构造使用具有大位复杂度的权重，证明了这种大位复杂度对于用一个次线性数量参数进行记忆既是必要的又是充分的。

    Oct, 2021

  • 双层神经网络在记忆中的网络尺寸和权重尺寸

    使用复合的神经元重组，提出一种新的针对 ReLU 网络的训练方法，使得仅需使用数目较少的神经元就可以进行近似记忆，并且权重大小接近最优。

    Jun, 2020

  • 具有阈值和 ReLU 激活函数的神经网络的记忆容量

    本文探究神经网络模型，证明了具有 sigmoid 或 ReLU 激活函数的过度参数化的模型在训练数据超过一定数量后，具有百分之百的记忆能力。

    Jan, 2020

  • 一种对深度阈值网络记忆容量的指数级提升

    本篇论文证明了深度阈网络使用近似线性的神经元与权重便可实现存储数量为 n 在 d 维度的数据。同时，藉由将神经网络存储与纯几何问题上的超平面分离联系起来，论文也证明了一些新的下界。

    Jun, 2021

  • 具有条件计算的神经网络的记忆容量

    研究神经条件计算的基本限制和记忆能力，展示条件 ReLU 网络可以用更少的算术操作完成相同任务，还介绍了一种将无条件网络合成为条件网络的有效方法。

    Mar, 2023

  • 几乎无过度参数化的神经网络学习和记忆

    本文研究了通过神经网络算法实现各种模型的多项式时间可学习性，证明了 SGD 在深度为二的神经网络上能够记忆样本、学习有界权重的多项式，以及学习某些内核空间，并且这些网络具有接近最优的网络大小、样本复杂度和运行时间。

    Nov, 2019

  • 神经网络的记忆化：超越最坏情况

    通过采用特定实例的观点，本研究论文调查了神经网络的插值方法，引入了一个简单的随机算法，通过固定的有限数据集，高概率地构建了一个可以插值的三层神经网络，其所需参数数量与两个类别及其相互排列的几何属性有关，从而获得了与样本数无关的保证，并通过大量数值实验将洞察力与理论结果相联系。

    Sep, 2023

  • 利用亚线性参数的深度神经网络实现可证明的记忆

    通过利用神经网络的深度，本文表明在输入点之间存在较小的条件下，$O (N^{2/3})$ 参数就足以记住 $N$ 个输入对，并提供了支持我们理论结果的实证结果。

    Oct, 2020

  • 解耦门控线性

    研究了 ReLU 神经网络，引入了一种简化的模型，即门控线性单元（GaLU），并证明使用 GaLU 神经网络比使用 ReLU 神经网络更容易得到更强的优化和泛化结果，且当某些场景下，GaLU 网络与 ReLU 网络的行为相似。

    Jun, 2019

  • 具有平滑激活函数的两层神经网络的内存容量

    通过计算雅可比矩阵中涉及亏格阵幂和 Khati-Rao 乘积的矩阵的秩，我们确定了具有 m 个隐藏神经元和输入维度 d（即，md+m 个可训练参数）的双层神经网络的记忆容量下界为 md/2，并以大约 2 倍的优势进行了最优性分析。

    Aug, 2023