Dec, 2019

用代理随机设计的双重下降和隐式正则化的精确表达式

HTML
PDF
TL;DR本文针对过度参数的最小范数线性估计器的双下降现象，借助一种称为代理随机设计的特殊确定点过程进行研究，该代理设计允许对估计器的平均平方误差进行精确表示，并且我们证明了对于代理设计，未正则化的最小范数估计器的隐式偏置恰好对应于在总体分布上解决岭正则化最小二乘问题的解。
发现论文，激发创造
  • 非凸统计估计中的隐式正则化：梯度下降在相位恢复、矩阵补全和盲源分离问题中线性收敛

    研究非凸优化问题中梯度下降算法的隐式正则化特性，证明在多种统计模型中，梯度下降算法在没有显式正则化的情况下也能够实现正则化，并在相位恢复、低秩矩阵补全和盲反卷积等三个基本统计估计问题中实现近乎最优的统计和计算保证。

    Nov, 2017

  • 双峰下的双重麻烦：懒惰模式中的偏差与方差

    研究发现，通过过度参数化，深度神经网络能够在插值训练数据的同时实现卓越的泛化性能，并且在测试误差上具有双下降现象，该现象可以通过集成平均估计器进行抑制。

    Mar, 2020

  • 最优正则化可以缓解双峰下降现象

    本文研究是否可以通过使用优化正则化方法避免双重下降现象。理论上，我们证明了对于某些线性回归模型，通过正则化可以实现测试性能的单调性增长，我们还通过实验证明了优化的正则化方法可以缓解双重下降现象。

    Mar, 2020

  • 隐式梯度正则化

    本文研究了梯度下降算法在优化神经网络时的表现，发现梯度下降中的离散步骤隐含地通过惩罚大损失梯度轨迹的方式实现了模型的正则化，这种“隐性梯度正则化”导致梯度下降趋向于平坦的最小值，使解决方案对噪声参数扰动有很好的鲁棒性，这一理论有助于解决过拟合问题。

    Sep, 2020

  • 理解双重下降需要进行精细的偏差-方差分解

    通过对方差进行可解释的对称分解，探讨了深度学习算法的偏差与方差之间的关系，发现随着网络宽度的增加，偏差单调下降，但方差存在非单调行为，并可以通过集成学习消除互作用导致的方差发散。

    Nov, 2020

  • 线性回归中恒定步长随机梯度下降的良性过拟合

    研究算法归纳偏差对于防止过度拟合的重要性，探讨使用常数步长随机梯度下降算法在超参数化情况下进行线性回归的问题和解决方案，提供了数据协方差矩阵全部的特征值，阐述一个可以使得泛化成为可能的偏差-方差分解，实验结果表明理论结果的正确性。

    Mar, 2021

  • 隐式稀疏正则化：深度和提前停止的影响

    本文研究了梯度下降的隐式偏差对于稀疏回归的影响，并将关于二次参数化的回归结果扩展到更一般的深度为N的网络，结果表明通过提前停止来实现隐式稀疏规则化至关重要，并且对于一般深度参数N，足够小的初始化和步长可以实现最小化最优的稀疏恢复。

    Aug, 2021

  • 通过权重归一化实现强大的隐式正则化

    本文研究了使用梯度下降与权重归一化进行训练的经过参数化的模型所具有的内在偏向性，并证明了权重归一化的方法可以在对角线性模型中具有稀疏解的内在偏向性。

    May, 2023

  • 岭正则化最小二乘线性数据去噪的欠参数化双丘降现象

    本文在一个简单的样例中证明了双下降现象在欠参数化的情况下确实存在，同时探讨了岭回归正则化对模型泛化误差和范数的影响以及两种正则化方法之间的相互作用，结果表明它们不完全等效。

    May, 2023

  • 解开双下降之谜：通过学习特征空间的深入分析

    通过对学习表征的特征空间进行全面分析，我们揭示了双下降现象是在用带有噪声数据训练的不完美模型中产生的，它首先通过拟合噪声数据进行学习，然后通过超参数化添加隐式正则化，从而具备了将信息与噪声分离的能力。我们推断双下降现象不应该在经过良好正则化的模型中发生。

    Oct, 2023