隐性偏见能否解释泛化问题？随机凸优化作为案例研究

Mar, 2020

Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study

Assaf Dauber, Meir Feder, Tomer Koren, Roi Livni

TL;DR本文研究隐式偏差和隐式正则化对随机凸优化中随机梯度下降的影响，提供了一种简单构造来排除控制SGD泛化能力的分布独立的隐式正则化器的存在，并且证明了分布依赖的一般类隐式正则化器不能解释泛化的学习问题，说明了仅仅通过隐式正则化的特性来全面解释算法的泛化性能存在重大困难。

Abstract

The notion of implicit bias, or implicit regularization, has been suggested as a means to explain the surprising generalization ability of

发现论文，激发创造

本论文研究了随机梯度方法在凸损失函数及线性参数函数学习中的泛化特性，证明了在无惩罚或约束的情况下可以通过调整步长或数据通行次数来控制算法的稳定性和逼近性质，这被看作是一个隐式正则化的形式，并给出了数值结果验证理论发现。

May, 2016

本研究探讨深度学习中的泛化现象，并发现隐式正则化通过优化方法在深度学习模型的泛化和成功方面起着关键作用，我们进一步研究了不同的复杂度度量，以确保泛化并解释了优化算法如何隐含地正则化这些复杂度度量，为了更好地研究神经网络中的不变量，我们提出了复杂度度量和优化算法，并在许多学习任务上进行了评估。

Sep, 2017

通过矩阵分解问题的数学建模，探究梯度优化算法所诱导的隐含正则化问题，研究发现规范（norms）不能完全解释矩阵分解问题中的正则化问题，通过实验证明排名（rank）是更有用的解释方式以及有可能解释深度学习中的泛化问题。

May, 2020

本文研究了梯度下降算法在优化神经网络时的表现，发现梯度下降中的离散步骤隐含地通过惩罚大损失梯度轨迹的方式实现了模型的正则化，这种“隐性梯度正则化”导致梯度下降趋向于平坦的最小值，使解决方案对噪声参数扰动有很好的鲁棒性，这一理论有助于解决过拟合问题。

Sep, 2020

本研究针对模型学习速率为中等并逐渐降低的情况，研究了SGD和GD在超参数调节中的常见行为，以此试图解决机器学习中的算法偏差问题，并得出了不同方向偏差可能导致最终预测结果差异的结论。

Nov, 2020

本文研究随机梯度下降（SGD）的学习率对准确性的影响，证明当学习率适当大时，SGD的迭代路径离梯度下降路径更近，这种现象可通过引入一个隐式正则化项进行解释，并通过实验证明在适当的学习率下包含隐式正则化项可以提高测试准确性。

Jan, 2021

本文研究了随机梯度下降和全样本梯度下降在随机凸优化模型中泛化性能的分离问题，发现经典的全样本梯度下降算法在步数相同的情况下会出现过拟合且通常需要更多的步数才能与随机梯度下降算法获得类似的泛化性能。同时本文还探讨了正则化、稳定性和隐含偏差等概念在泛化中的作用。

Feb, 2021

本文研究了随机梯度下降在对角线线性网络上的动态规律，证明了它比梯度下降的解具有更好的泛化性能，并发现收敛速度控制偏见效应的大小，结果支持了结构化噪声可以引起更好泛化性能的理论结论。

Jun, 2021

本文研究了使用梯度下降与权重归一化进行训练的经过参数化的模型所具有的内在偏向性，并证明了权重归一化的方法可以在对角线性模型中具有稀疏解的内在偏向性。

May, 2023

本文使用镜像下降方法来解决深度神经网络优化算法中的隐含正则化问题。

Jun, 2023