根据随机二重性理论 (RDT)，本研究利用部分整体化 RDT 的框架分析了具有不同激活函数的树状委员会机器 (TCM) 神经网络的容量，特别关注于线性、二次和修正线性单元 (ReLU) 激活函数，并发现隐藏层神经元个数为两个时容量最大。

Feb, 2024

对多层 sign 感知器神经网络（SPNNs）的记忆能力进行研究，并通过随机对偶理论（RDT）得出的容量表征结果证明，网络配置中增加神经元确实非常有益。此外，对于隐藏层具有 d≤5 个神经元的特定树状委员会机器（TCM）结构，该研究首次在 30 多年中通过降低之前最佳已知容量界限，取得了重大数学进展。

Dec, 2023

通过研究全度零阈值、全度正阈值和部分度负阈值等情况，本文利用全度随机对偶理论（fl RDT）来表征负球面感知器的容量，并通过分析提取了关键上升参数的闭式解析关系，从而在第三级（第二个非平凡级）的规定化全度上升中取得了极好的收敛效果（相对提升约 0.1%）。

Dec, 2023

通过 ReLU 激活函数，我们研究了深度双曲神经网络（HNNs）的表示容量，证明了 HNNs 能够将任何有限加权树以 ε- 等度量嵌入到至少二维的带有给定曲率 κ<0 的双曲空间中，其中 ε>1（ε=1 时最优）。我们在实现嵌入的 HNN 上建立了网络复杂性的严格上界，发现实现图形表示的 HNN 的网络复杂性与表示保真度 / 失真率无关。我们将这一结果与在嵌入一个具有 $L>2^d$ 个叶子的树到 $d$ 维欧几里得空间时，任何 ReLU 多层感知器（MLP）必须施加的失真下界进行了对比，我们证明至少为 Ω(L^{1/d})；与定义 MLP 的深度、宽度和（可能是不连续的）激活函数无关。

Aug, 2023

本文研究深度神经网络对各种激活函数的表达能力，并证明可在任意有界集合上以稍大的常数精度近似任意激活函数的神经网络。

Jul, 2023

使用复合的神经元重组，提出一种新的针对 ReLU 网络的训练方法，使得仅需使用数目较少的神经元就可以进行近似记忆，并且权重大小接近最优。

Jun, 2020

本文探究神经网络模型，证明了具有 sigmoid 或 ReLU 激活函数的过度参数化的模型在训练数据超过一定数量后，具有百分之百的记忆能力。

Jan, 2020

本文主要研究具有 ReLU 激活和有限宽度的神经网络的深度表达能力，重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题，最终得出了使用宽度为 $d+3$ 的 ReLU 网络可以以任意精度逼近 $d$ 维空间上的任意标量连续函数的深度估计结论。

Aug, 2017

该研究借助 ReLU 挖掘深度学习的奥秘，以布尔函数为背景，考察了 ReLU 网络深度对模型大小的影响，并提出一种随机限制的方法来验证 LTF-OF-RELU 电路的最优性以及 ReLU 深度网络的难以压缩性，并展示出一种 Sum-of-ReLU-of-ReLU 函数实现的不可能性。

Nov, 2017

通过计算雅可比矩阵中涉及亏格阵幂和 Khati-Rao 乘积的矩阵的秩，我们确定了具有 m 个隐藏神经元和输入维度 d（即，md+m 个可训练参数）的双层神经网络的记忆容量下界为 md/2，并以大约 2 倍的优势进行了最优性分析。

Aug, 2023