MMMay, 2019

深度神经网络初始化引起的泛化误差类型

PDF
TL;DR通过利用 DNN 训练动力学在 NTK 领域中的线性性，本研究提供了关于 DNN 学习的初始化和损失函数如何影响其泛化误差的明确定量答案 ，证明了在 NTK 范围内通过抗对称初始化技巧（ASI）减少初始输出引起的误差的可能性并加速训练。
deep neural networkntk regimegeneralization errorinitializationloss function
发现论文，激发创造
  • 深度网络中的泛化（IIIb 理论）

    该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

    Jun, 2018

  • 正则化的重要性：神经网络的泛化和优化与其引导的核函数

    通过研究多层前馈 ReLU 神经网络、交叉熵损失函数、核方法等工具，我们发现标准 l2 正则化器在实际应用中具有很大优越性，并且通过构造一个简单的 d 维数据集，我们证明了有正则化器的神经网络只需要 O (d) 的数据集就能训练成功，而对于无正则化器的 NTK 神经网络，则需要至少 Omega (d^2) 的数据才能训练成功。同时，我们还证明了无限宽度的两层神经网络能够通过有噪音的梯度下降优化正则化器，并且能够得到全局最优解。

    Oct, 2018

  • 深度学习模型中参数数量与泛化能力的关系及数量级的估算

    本文通过神经切向核将大型神经网络连接到核方法，探讨了初始化会导致神经网络输出函数在期望附近产生有限大小的随机波动，影响分类的广义误差。我们最终的分析表明，在计算限制条件下，使用几个中间大小的网络，略高于阈值点，对它们的输出求平均，可以获得最小的分类误差。

    Jan, 2019

  • 深度网络的泛化：与起始点距离的作用

    本文研究了使用随机梯度下降（SGD）训练深度神经网络为什么会导致泛化误差不随网络参数数量恶化的问题，并提出一种基于给定随机初始化的有效模型容量的概念。作者通过实验证明了 SGD 训练的深度网络的模型容量实际上受限于从初始化开始的 L2 距离的隐式正则化，并提供理论论证来进一步强调了初始化相关的模型容量概念的必要性。然而此文留下了如何以及为什么对初始化距离进行正则化，以及它是否足以解释泛化的问题。

    Jan, 2019

  • 深度神经网络的惰性训练下的良性过拟合

    该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差，同时获得（几乎）零训练误差，并提出了三个相关概念的统一。

    May, 2023

  • 神经正切核：神经网络的收敛性和泛化性

    本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

    Jun, 2018

  • 神经切向核方法的神经网络修正

    使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

    Jul, 2020

  • 两层神经网络和随机特征模型在梯度下降动态下优化和泛化属性的比较分析

    本研究 对二层神经网络模型的梯度下降动态进行了较全面的分析，并考虑了在更新两个层的参数时，一般的初始化方案以及网络宽度和训练数据大小的一般方案。在过度参数化的情况下，梯度下降动态可以快速地达到零训练损失，无论标签的质量如何。此外，证明了神经网络模型所表示的函数始终与核方法的函数保持一致。对于网络宽度和训练数据大小的一般值，建立了适当的再生核 Hilbert 空间的目标函数的尖锐估计。

    Apr, 2019

  • 关于过拟合两层神经切向核模型的泛化能力

    本文研究具有 ReLU 激活函数且没有偏差项的两层神经网络的神经切向核（NTK）模型的 min（L2）-norm 过拟合解的泛化性能，并显示随着神经元数目 p 的增加，测试误差表现出不同于具有简单傅里叶或高斯特征的过度参数化线性模型的 “双峰现象” 的特征。

    Mar, 2021

  • 解开样本大小和初始效果对单神经元目标完美泛化的影响

    过参数化模型，如深度神经网络，具有通过较少的采样数据点恢复目标函数的有趣能力。本研究集中研究了单神经元目标恢复场景，并系统地考察了初始化和样本大小对双层神经网络性能的影响。我们的实验证明，更小的初始化尺度与改善泛化有关，并确定了一个关键数量，称为 “初始不平衡比”，它管理着小初始化下的训练动力和泛化能力，该结果得到理论证明的支持。此外，我们经验性地划分了两个关键的样本大小阈值，称为 “乐观样本大小” 和 “分离样本大小”，与已有理论框架相契合。我们的结果表明了模型恢复目标函数能力的一个转变：在乐观样本大小之下，恢复是不可行的；在乐观样本大小时，通过零测度初始化集合，恢复变得可行。当达到分离样本大小时，可以成功恢复目标函数的初始化集合从零测度转变为正测度。这些从简化的背景中得出的见解，为理解过参数化神经网络中完美泛化的复杂性提供了观点。

    May, 2024