双层神经网络在记忆中的网络尺寸和权重尺寸
本文探究神经网络模型，证明了具有 sigmoid 或 ReLU 激活函数的过度参数化的模型在训练数据超过一定数量后，具有百分之百的记忆能力。
Jan, 2020
本篇论文证明了深度阈网络使用近似线性的神经元与权重便可实现存储数量为 n 在 d 维度的数据。同时，藉由将神经网络存储与纯几何问题上的超平面分离联系起来，论文也证明了一些新的下界。
Jun, 2021
研究了 ReLU 网络的有限样本表达能力，证明了 3 层 ReLU 网络可以通过利用深度，并需要大约根号 N 个节点即可完美记忆大多数 N 个数据点，并证明大约根号 N 个节点是记忆 N 个数据点的必要和充分条件，同时证明当 W = Omega（N）时，L 层网络的带权参数可以记忆 N 个数据点。在全局位置假设下分析了负残差网络的记忆能力，并研究了随机梯度下降的动力学，证明了当在经验风险的记忆全局最小值附近初始化时，SGD 可以很快找到风险更小的附近点。
Oct, 2018
本研究探讨了前向 ReLU 神经网络的记忆能力，发现使用大约 O (sqrt (N)) 个参数可以记忆任何满足一定可分性假设的 N 个点。我们还提出了一个更一般化的构造，可以使用更少的大约 N/L 个参数记忆 N 个样本，其中 1≤L≤sqrt (N)。我们的构造使用具有大位复杂度的权重，证明了这种大位复杂度对于用一个次线性数量参数进行记忆既是必要的又是充分的。
Oct, 2021
通过计算雅可比矩阵中涉及亏格阵幂和 Khati-Rao 乘积的矩阵的秩，我们确定了具有 m 个隐藏神经元和输入维度 d（即，md+m 个可训练参数）的双层神经网络的记忆容量下界为 md/2，并以大约 2 倍的优势进行了最优性分析。
Aug, 2023
本文研究了通过神经网络算法实现各种模型的多项式时间可学习性，证明了 SGD 在深度为二的神经网络上能够记忆样本、学习有界权重的多项式，以及学习某些内核空间，并且这些网络具有接近最优的网络大小、样本复杂度和运行时间。
Nov, 2019
本文研究采用梯度下降算法学习双层神经网络，证明其具有多项式样本和多项式时间复杂度，且可以学习到真实网络，而任何具有多项式样本的核方法均具有 Omega 误差下限。
Jul, 2020
研究显示神经网络的大小和唇氏常数之间存在固有的权衡，为保证唇氏恒定至少需要数据点数除以神经元个数的个数级别的神经元，过参数化（神经元数大于数据点数）是保证鲁棒性的必要条件，仅数据拟合仅需要 D 个数据点一个神经元。
Sep, 2020
ReLU shallow neural networks can uniformly approximate functions from the H"older space with rates close to the optimal one in high dimensions.
Jul, 2023