ICLRFeb, 2019

身份危机：极端过参数化下的记忆和泛化

PDF
TL;DR研究过参数化网络在单个训练样本和恒等映射任务中，记忆与泛化之间的相互作用。通过正式表征单层 FCNs 和 CNNs 中的泛化，我们展示了不同架构的归纳偏见。我们的工作有助于量化和可视化感性偏见对架构选择（如深度，内核宽度和通道数量）的敏感性。
overparameterized networksmemorizationgeneralizationinductive biasesarchitectural choices
发现论文，激发创造
  • 深度神经网络中可训练性和泛化能力的分离

    本文通过分析神经核算法的光谱，提供了对于训练和推广条件的表征，特别地，在讨论极深和宽的神经网络时，发现神经核数仅仅维持有限的数据相关性，并考虑各种网络模型在很大的超参数空间区域内训练集过度拟合而且通常无法推广；同时，与深度神经网络及其卷积形式的全局平均池化相关的理论和实验结果得到了分析。

    Dec, 2019

  • 深度神经网络泛化与记忆的几何学

    通过几何分析深度神经网络的 memorization 结构及相关特征，发现较深层的 memorization 更为显著，可以通过恢复层权重预防，同时与模型几何结构和 generalization 性能有关。

    May, 2021

  • 大型图像分类器记忆了什么？

    现代神经网络的成功引发了对记忆和泛化之间关系的研究：过参数化的模型能够很好地进行泛化，尽管它们能够完美地拟合（记忆）完全随机的标签。本文通过对图像分类基准上 ResNet 的记忆度量进行实证计算，全面分析了神经模型大小对记忆能力的影响，结果发现不同模型大小的训练样本表现出意想不到的多样化记忆轨迹：较大模型下大多数样本减少了记忆，而部分样本呈现帽状或者递增型记忆。此外，我们发现知识蒸馏作为一种有效且流行的模型压缩技术，往往抑制记忆，同时提高了泛化能力，尤其是对于记录递增轨迹的示例，蒸馏技术能够有效提高泛化能力。

    Oct, 2023

  • 深度学习中的身份问题

    该研究提出了深度学习中的 identity parameterization 理论，从理论和实验方面探讨了残差网络的优越性，证明了含 ReLU 激活的残差网络在可表示样本函数的有限表达能力方面优于单纯的前馈网络，并提出了不含 batch normalization, dropout 或 max pool 的残差卷积层和 ReLU 激活的新型网络架构，在 CIFAR10，CIFAR100 和 ImageNet 分类基准测试中表现显著提高。

    Nov, 2016

  • 深度学习具有泛化能力是因为参数 - 函数映射倾向于简单函数

    本文提供了深度神经网络的隐式正则化和广义性能的新解释，即表明深度神经网络的参数 - 函数映射应该具有指数偏向简单函数的现象，并且该内在的简单性依赖有助于解释为什么深度网络在现实世界的问题上具有良好的泛化性能。此外，本文提出了一种基于 PAC-Bayes 理论的方法，可以保证目标函数产生高似然训练集时的良好期望泛化，而且该方法的普适性更好。

    May, 2018

  • 过参数化卷积神经网络中的特征学习机制：局部核归一化

    深度神经网络具有自动从原始数据中学习相关特征的能力，但完全连接（FC）和卷积架构（CNN）中的特征学习方式不同。本研究通过理论和实验证明了有限宽度 FC 网络的泛化性能可以通过选择适当的高斯先验来获得无限宽度网络的结果，而具有卷积隐藏层的架构则展现出了一种不同的特征学习方式。

    Jul, 2023

  • 深度网络内存化探究

    本文研究深度学习中记忆化的作用，探讨了容量，泛化，对抗鲁棒性的联系。作者的实验表明，深度神经网络在优化噪声数据和真实数据时存在数量上的差异，但经过适当的正则化调整（如 dropout），我们可以降低其在噪声数据集上的训练性能，同时不影响在真实数据上的泛化能力。研究结果表明，数据集本身在决定记忆化程度时具有重要作用，而基于梯度优化方法的深度网络的泛化性能不太可能由数据集独立的有效容量来解释。

    Jun, 2017

  • 神经网络可否进行本地化记忆？

    通过三种实验方法，我们发现记忆化现象发生在模型的少数层中，而不是最后的几层；其次，我们发现记忆化往往局限于模型的少数神经元或通道；基于这些发现，我们提出了一种新的 dropout 方法，通过对特定的神经元进行 dropout，我们能够减少记忆化的准确性，从而减小泛化差距。

    Jul, 2023

  • 过参数化的两层神经网络的优化与泛化的细粒度分析

    该论文分析了一个简单的 2 层 ReLU 网络的训练和泛化，通过对相关内核的特性进行追踪，提出了更紧致的训练速度特征描述和网络大小无关的泛化界限以及对梯度下降训练的广泛平滑函数可学性的证明。

    Jan, 2019

  • 图神经网络在恒等效果学习中的泛化限制

    在研究中，我们分析了 Graph Neural Networks 在简单认知任务中的能力，并讨论了其在学习所谓的 “identity effects” 时的一般化特性和基本限制。 我们通过两个案例研究来支持我们的理论分析。

    Jun, 2023