Aug, 2023

具有平滑激活函数的两层神经网络的内存容量

PDF
TL;DR通过计算雅可比矩阵中涉及亏格阵幂和 Khati-Rao 乘积的矩阵的秩，我们确定了具有 m 个隐藏神经元和输入维度 d（即，md+m 个可训练参数）的双层神经网络的记忆容量下界为 md/2，并以大约 2 倍的优势进行了最优性分析。
memory capacityneural networksactivation functionsjacobian rankmachine learning
发现论文，激发创造
  • 双层神经网络在记忆中的网络尺寸和权重尺寸

    使用复合的神经元重组，提出一种新的针对 ReLU 网络的训练方法，使得仅需使用数目较少的神经元就可以进行近似记忆，并且权重大小接近最优。

    Jun, 2020

  • 具有阈值和 ReLU 激活函数的神经网络的记忆容量

    本文探究神经网络模型，证明了具有 sigmoid 或 ReLU 激活函数的过度参数化的模型在训练数据超过一定数量后，具有百分之百的记忆能力。

    Jan, 2020

  • 几乎无过度参数化的神经网络学习和记忆

    本文研究了通过神经网络算法实现各种模型的多项式时间可学习性，证明了 SGD 在深度为二的神经网络上能够记忆样本、学习有界权重的多项式，以及学习某些内核空间，并且这些网络具有接近最优的网络大小、样本复杂度和运行时间。

    Nov, 2019

  • 固定宽度树状神经网络容量分析 -- 通用激活函数

    根据随机二重性理论 (RDT)，本研究利用部分整体化 RDT 的框架分析了具有不同激活函数的树状委员会机器 (TCM) 神经网络的容量，特别关注于线性、二次和修正线性单元 (ReLU) 激活函数，并发现隐藏层神经元个数为两个时容量最大。

    Feb, 2024

  • 具有通用激活函数的全连接双层神经网络的解空间和存储容量

    我们通过统计物理学中的复制法，分析具有通用激活函数的全连接双层神经网络的解空间结构和存储容量，并发现存储容量与参数的关系是有限的，在无限宽度的条件下，网络的权重表现出负相关性，并且随着数据集大小的增加，存在一个特定的转变点触发相变，权重的置换对称性被破坏，解空间分裂成不相交的区域。我们进一步确定了这一转变点和存储容量与激活函数的选择之间的依赖关系，这些发现有助于理解激活函数和参数数量对解空间结构的影响，可能为根据特定目标选择合适的架构提供了洞见。

    Apr, 2024

  • 小型 ReLU 网络具有强大的记忆能力：记忆容量的严密分析

    研究了 ReLU 网络的有限样本表达能力，证明了 3 层 ReLU 网络可以通过利用深度，并需要大约根号 N 个节点即可完美记忆大多数 N 个数据点，并证明大约根号 N 个节点是记忆 N 个数据点的必要和充分条件，同时证明当 W = Omega（N）时，L 层网络的带权参数可以记忆 N 个数据点。在全局位置假设下分析了负残差网络的记忆能力，并研究了随机梯度下降的动力学，证明了当在经验风险的记忆全局最小值附近初始化时，SGD 可以很快找到风险更小的附近点。

    Oct, 2018

  • 三层神经网络非多项式激活函数的记忆容量

    神经元、前馈神经网络、激活函数、插值、插值能力

    May, 2024

  • 关于 ReLU 神经网络的最佳记忆能力

    本研究探讨了前向 ReLU 神经网络的记忆能力，发现使用大约 O (sqrt (N)) 个参数可以记忆任何满足一定可分性假设的 N 个点。我们还提出了一个更一般化的构造，可以使用更少的大约 N/L 个参数记忆 N 个样本，其中 1≤L≤sqrt (N)。我们的构造使用具有大位复杂度的权重，证明了这种大位复杂度对于用一个次线性数量参数进行记忆既是必要的又是充分的。

    Oct, 2021

  • 神经网络的记忆化：超越最坏情况

    通过采用特定实例的观点，本研究论文调查了神经网络的插值方法，引入了一个简单的随机算法，通过固定的有限数据集，高概率地构建了一个可以插值的三层神经网络，其所需参数数量与两个类别及其相互排列的几何属性有关，从而获得了与样本数无关的保证，并通过大量数值实验将洞察力与理论结果相联系。

    Sep, 2023

  • 具有条件计算的神经网络的记忆容量

    研究神经条件计算的基本限制和记忆能力，展示条件 ReLU 网络可以用更少的算术操作完成相同任务，还介绍了一种将无条件网络合成为条件网络的有效方法。

    Mar, 2023