Sep, 2023

神经网络的记忆化：超越最坏情况

PDF
TL;DR通过采用特定实例的观点，本研究论文调查了神经网络的插值方法，引入了一个简单的随机算法，通过固定的有限数据集，高概率地构建了一个可以插值的三层神经网络，其所需参数数量与两个类别及其相互排列的几何属性有关，从而获得了与样本数无关的保证，并通过大量数值实验将洞察力与理论结果相联系。
deep neural networksmemorization capacityinterpolationinstance-specific viewpointgeometric properties
发现论文，激发创造
  • 小型 ReLU 网络具有强大的记忆能力：记忆容量的严密分析

    研究了 ReLU 网络的有限样本表达能力，证明了 3 层 ReLU 网络可以通过利用深度，并需要大约根号 N 个节点即可完美记忆大多数 N 个数据点，并证明大约根号 N 个节点是记忆 N 个数据点的必要和充分条件，同时证明当 W = Omega（N）时，L 层网络的带权参数可以记忆 N 个数据点。在全局位置假设下分析了负残差网络的记忆能力，并研究了随机梯度下降的动力学，证明了当在经验风险的记忆全局最小值附近初始化时，SGD 可以很快找到风险更小的附近点。

    Oct, 2018

  • 神经网络中的插值相变：懒惰训练下的记忆和泛化

    在神经切向（NT）区域的背景下，研究了过参数化现象和它们的推广误差特征，揭示了经验 NT 内核的特征并且证明了测试误差可以被无穷宽内核的核岭回归误差很好地近似。

    Jul, 2020

  • 几乎无过度参数化的神经网络学习和记忆

    本文研究了通过神经网络算法实现各种模型的多项式时间可学习性，证明了 SGD 在深度为二的神经网络上能够记忆样本、学习有界权重的多项式，以及学习某些内核空间，并且这些网络具有接近最优的网络大小、样本复杂度和运行时间。

    Nov, 2019

  • 轻度过参数化神经网络能够高效地记忆训练数据

    本文研究发现，为了在过量参数化情况下实现 100％ 的准确率，神经网络可以训练出能够完美记忆训练数据的能力，即使在神经元数量要远小于训练样本数量的情况下依旧适用。

    Sep, 2019

  • 深度网络内存化探究

    本文研究深度学习中记忆化的作用，探讨了容量，泛化，对抗鲁棒性的联系。作者的实验表明，深度神经网络在优化噪声数据和真实数据时存在数量上的差异，但经过适当的正则化调整（如 dropout），我们可以降低其在噪声数据集上的训练性能，同时不影响在真实数据上的泛化能力。研究结果表明，数据集本身在决定记忆化程度时具有重要作用，而基于梯度优化方法的深度网络的泛化性能不太可能由数据集独立的有效容量来解释。

    Jun, 2017

  • 利用亚线性参数的深度神经网络实现可证明的记忆

    通过利用神经网络的深度，本文表明在输入点之间存在较小的条件下，$O (N^{2/3})$ 参数就足以记住 $N$ 个输入对，并提供了支持我们理论结果的实证结果。

    Oct, 2020

  • 关于基于单层人工神经网络的插值准确性研究

    利用极限学习机来训练具有一层隐藏层的前馈神经网络（也称为浅层或两层网络），研究插值问题中的准确性以及使用 Chebychev 节点时的全局多项式逼近与 ANN 插值函数的异常行为。

    Aug, 2023

  • 深度神经网络泛化与记忆的几何学

    通过几何分析深度神经网络的 memorization 结构及相关特征，发现较深层的 memorization 更为显著，可以通过恢复层权重预防，同时与模型几何结构和 generalization 性能有关。

    May, 2021

  • 双层神经网络在记忆中的网络尺寸和权重尺寸

    使用复合的神经元重组，提出一种新的针对 ReLU 网络的训练方法，使得仅需使用数目较少的神经元就可以进行近似记忆，并且权重大小接近最优。

    Jun, 2020

  • 记忆地图：在神经机器翻译中绘制记忆 - 推广连续体

    通过使用反事实记忆度量标准，建立了一个资源，将 500 万条神经机器翻译数据点放置在一个记忆 - 泛化地图上，并展示了数据点的表面特征和模型的训练信号如何预测神经机器翻译中的记忆，以及该地图的子集对神经机器翻译系统性能的影响。

    Nov, 2023