Mar, 2021

深度学习：统计观点

PDF
TL;DR探讨了深度学习中简单梯度方法在寻找接近最优解的非凸优化问题上的出人意料的成功，以及其之所以具有超预期的表现，推断是因为过度参数化可以让梯度方法寻找插值解，这些方法隐含地施加正则化，并且过度参数化导致了良性过拟合等基本原理构成了这个现象，同时摘要了最新的理论进展，重点考虑了神经网络的线性区域。
deep learningoverparameterizationimplicit regularizationbenign overfittinggradient flow
发现论文，激发创造
  • 深度学习理论 III：解释非过拟合谜题

    该研究探讨深度网络中的过拟合问题，发现梯度下降在非线性网络中的优化动力学与线性系统是等价的，同时也推广了梯度下降的两个性质到非线性网络中：隐式正则化以及最小范数解的渐近收敛，通过这些性质，可以提高模型的泛化能力，同时在分类任务中也能得到较好的分类误差。

    Dec, 2017

  • 线性回归中的良性过拟合

    研究表明，过度拟合是深度学习方法的主要问题之一，但当训练中使用最小规范化规则时，线性回归问题中的过度拟合也可以实现高精度预测，需要超参数数量显著超过样本大小。

    Jun, 2019

  • 深度网络中的理论问题：逼近、优化和泛化

    简述：对深度学习的理论研究逐渐深入，从表示能力到优化、从梯度下降的泛化性质到固有隐藏复杂性的到达方式，已经有了一些解释；通过在分类任务中使用经典的均匀收敛结果，我们证明了在每个层的权重矩阵上施加单位范数约束下最小化替代指数型损失函数的有效性，从而解决了与深度网络泛化性能相关的一些谜团。

    Aug, 2019

  • 神经网络中良性过拟合现象的理解探讨

    本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

    Jun, 2021

  • 深度网络中的泛化（IIIb 理论）

    该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

    Jun, 2018

  • 单隐藏层神经网络梯度流性质与线性激活函数的研究

    通过研究神经网络的超参数化和过拟合对梯度下降算法鲁棒性的影响，我们证明了过度参数化会引入伪平衡点，阻碍梯度下降算法的收敛。

    May, 2023

  • 将统计学习理论应用于深度学习

    从学习理论的角度来理解深度学习时，我们讨论了一些主要问题，包括统计学习理论、随机优化、梯度下降对线性对角网络的隐式偏差。

    Nov, 2023

  • 了解深度学习需要了解核学习

    研究表明深度学习和浅层核方法在过拟合问题上表现相似，而不是泛化性能高的唯一因素，因此需要更深入地研究浅层核方法，以更好地理解深度学习。

    Feb, 2018

  • 深度学习的超参数化收敛理论

    通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

    Nov, 2018

  • 深度学习具有泛化能力是因为参数 - 函数映射倾向于简单函数

    本文提供了深度神经网络的隐式正则化和广义性能的新解释，即表明深度神经网络的参数 - 函数映射应该具有指数偏向简单函数的现象，并且该内在的简单性依赖有助于解释为什么深度网络在现实世界的问题上具有良好的泛化性能。此外，本文提出了一种基于 PAC-Bayes 理论的方法，可以保证目标函数产生高似然训练集时的良好期望泛化，而且该方法的普适性更好。

    May, 2018