研究表明，树状委员会机器（TCM）神经网络和 Random Duality Theory（RDT）及其部分提升（pl RDT）变体是用于精确网络容量分析的强大工具，而全面提升（fl）RDT 可用于描述宽（d→∞）TCM 网络的容量，通过对多种激活函数进行数值计算，发现整个提升机制的收敛速度非常快，而第一和第二级提升的容量表征与统计物理复制方法获得的结果相吻合。

Feb, 2024

对多层 sign 感知器神经网络（SPNNs）的记忆能力进行研究，并通过随机对偶理论（RDT）得出的容量表征结果证明，网络配置中增加神经元确实非常有益。此外，对于隐藏层具有 d≤5 个神经元的特定树状委员会机器（TCM）结构，该研究首次在 30 多年中通过降低之前最佳已知容量界限，取得了重大数学进展。

Dec, 2023

通过计算雅可比矩阵中涉及亏格阵幂和 Khati-Rao 乘积的矩阵的秩，我们确定了具有 m 个隐藏神经元和输入维度 d（即，md+m 个可训练参数）的双层神经网络的记忆容量下界为 md/2，并以大约 2 倍的优势进行了最优性分析。

Aug, 2023

本文探究神经网络模型，证明了具有 sigmoid 或 ReLU 激活函数的过度参数化的模型在训练数据超过一定数量后，具有百分之百的记忆能力。

Jan, 2020

使用复合的神经元重组，提出一种新的针对 ReLU 网络的训练方法，使得仅需使用数目较少的神经元就可以进行近似记忆，并且权重大小接近最优。

Jun, 2020

通过研究全度零阈值、全度正阈值和部分度负阈值等情况，本文利用全度随机对偶理论（fl RDT）来表征负球面感知器的容量，并通过分析提取了关键上升参数的闭式解析关系，从而在第三级（第二个非平凡级）的规定化全度上升中取得了极好的收敛效果（相对提升约 0.1%）。

Dec, 2023

通过深门控网络作为框架，理论分析和实验验证了几种 DGNs 变体，阐述了深度神经网络的训练和泛化方面的问题，着重讨论了为什么增加深度能帮助训练到一定程度，而增加深度会伤害训练，以及证明了门控自适应在泛化中的关键作用。

Feb, 2020

神经元、前馈神经网络、激活函数、插值、插值能力

May, 2024

本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系，并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作，可以逼近一个由紧凑凸多面体包围的指示函数，同时拓展到单纯复合体，以拓扑空间的 Betti 数限制推导上界，并进一步证明了三层 ReLU 网络的通用逼近性质。

May, 2023

我们通过统计物理学中的复制法，分析具有通用激活函数的全连接双层神经网络的解空间结构和存储容量，并发现存储容量与参数的关系是有限的，在无限宽度的条件下，网络的权重表现出负相关性，并且随着数据集大小的增加，存在一个特定的转变点触发相变，权重的置换对称性被破坏，解空间分裂成不相交的区域。我们进一步确定了这一转变点和存储容量与激活函数的选择之间的依赖关系，这些发现有助于理解激活函数和参数数量对解空间结构的影响，可能为根据特定目标选择合适的架构提供了洞见。

Apr, 2024