根据随机二重性理论 (RDT)，本研究利用部分整体化 RDT 的框架分析了具有不同激活函数的树状委员会机器 (TCM) 神经网络的容量，特别关注于线性、二次和修正线性单元 (ReLU) 激活函数，并发现隐藏层神经元个数为两个时容量最大。

Feb, 2024

研究表明，树状委员会机器（TCM）神经网络和 Random Duality Theory（RDT）及其部分提升（pl RDT）变体是用于精确网络容量分析的强大工具，而全面提升（fl）RDT 可用于描述宽（d→∞）TCM 网络的容量，通过对多种激活函数进行数值计算，发现整个提升机制的收敛速度非常快，而第一和第二级提升的容量表征与统计物理复制方法获得的结果相吻合。

Feb, 2024

通过研究全度零阈值、全度正阈值和部分度负阈值等情况，本文利用全度随机对偶理论（fl RDT）来表征负球面感知器的容量，并通过分析提取了关键上升参数的闭式解析关系，从而在第三级（第二个非平凡级）的规定化全度上升中取得了极好的收敛效果（相对提升约 0.1%）。

Dec, 2023

本篇论文证明了深度阈网络使用近似线性的神经元与权重便可实现存储数量为 n 在 d 维度的数据。同时，藉由将神经网络存储与纯几何问题上的超平面分离联系起来，论文也证明了一些新的下界。

Jun, 2021

使用复合的神经元重组，提出一种新的针对 ReLU 网络的训练方法，使得仅需使用数目较少的神经元就可以进行近似记忆，并且权重大小接近最优。

Jun, 2020

通过 ReLU 激活函数，我们研究了深度双曲神经网络（HNNs）的表示容量，证明了 HNNs 能够将任何有限加权树以 ε- 等度量嵌入到至少二维的带有给定曲率 κ<0 的双曲空间中，其中 ε>1（ε=1 时最优）。我们在实现嵌入的 HNN 上建立了网络复杂性的严格上界，发现实现图形表示的 HNN 的网络复杂性与表示保真度 / 失真率无关。我们将这一结果与在嵌入一个具有 $L>2^d$ 个叶子的树到 $d$ 维欧几里得空间时，任何 ReLU 多层感知器（MLP）必须施加的失真下界进行了对比，我们证明至少为 Ω(L^{1/d})；与定义 MLP 的深度、宽度和（可能是不连续的）激活函数无关。

Aug, 2023

通过计算雅可比矩阵中涉及亏格阵幂和 Khati-Rao 乘积的矩阵的秩，我们确定了具有 m 个隐藏神经元和输入维度 d（即，md+m 个可训练参数）的双层神经网络的记忆容量下界为 md/2，并以大约 2 倍的优势进行了最优性分析。

Aug, 2023

通过实验证实了，所有常见的递归神经网络在仔细训练后达到了近乎相同的任务能力和单元容量边界，而许多以前的结果比较不同的递归神经网络结构主要是由于训练效果的差异而不是由于容量的差异驱动的。同时，作者还提出了两个新的递归神经网络结构，其中一个对于深度堆叠结构的训练比 LSTM 或 GRU 更容易。

Nov, 2016

本文探究神经网络模型，证明了具有 sigmoid 或 ReLU 激活函数的过度参数化的模型在训练数据超过一定数量后，具有百分之百的记忆能力。

Jan, 2020

文中介绍了一种基于赫布学习规则的神经网络模型，并研究了模式检索和容量特性，使用完全升级随机对偶理论得到精确的容量特性，并展示了快速升级收敛的结果。

Mar, 2024