本研究发现，在无正则化的逻辑回归问题、线性可分数据集上，使用均匀线性预测器的梯度下降法会收敛于最大间隔解的方向。收敛速度缓慢，方法适用于其他单调递减的损失函数、多类别问题和某些受限情况下的深层网络训练。此研究还可帮助理解模型的隐式正则化和其他优化方法。

Oct, 2017

对采用严格单调尾部的损失函数（如对数损失）在可分离数据集上利用梯度下降时的隐式偏差进行了详细研究，证明了对于一大类超多项式尾部损失，梯度下降迭代可以收敛到任意深度的线性网络的L2最大边距解。

Mar, 2018

本论文研究了机器学习中隐含的偏差及其对应的正则化解，并且根据理论证明我们使用的指数型损失函数的正则化效果，可达到最大保边缘的方向，相应的其他损失函数可能会导致收敛于边缘较差的方向。

Jun, 2020

本文研究了随机梯度下降在对角线线性网络上的动态规律，证明了它比梯度下降的解具有更好的泛化性能，并发现收敛速度控制偏见效应的大小，结果支持了结构化噪声可以引起更好泛化性能的理论结论。

Jun, 2021

研究了神经网络训练中的难点问题Edge of Stability，发现了一种新的内隐正则化机制，通过对最小化损失面的低维流动，提出对比以往对无穷小更新或梯度噪声的依赖。

May, 2022

本研究发现梯度下降在稳定边缘状态下具有自我稳定性和隐式偏差，可以通过投影梯度下降来描述，并对其在训练过程中的损失、尖锐度和偏差进行了详细预测和验证。

Sep, 2022

应用梯度下降 (GD) 到神经网络时，损失函数几乎从不呈单调递减。我们找到了一种随着 GD 训练而单调递减的量：梯度流解 (GFS) 所达到的锐度。在理论上，我们分析了具有平方损失的标量神经网络，这可能是出现 EoS 现象最简单的设置。我们在模型中证明了 GFS 锐度单调递减的结果，并表征了在标量网络中 GD 可以证明收敛到 EoS 的设置。从经验上看，我们展示了在平方回归模型以及实用的神经网络架构中，GD 单调递减 GFS 锐度。

May, 2023

本文证明了在使用可变学习率运行梯度下降时，对于逻辑回归目标函数，损失 f(x) ≤ 1.1·f(x*) + ε，其中误差 ε 按迭代次数指数下降，并按任意固定解决方案 x* 条目大小的多项式下降。该文还将这些思想应用于稀疏逻辑回归，在那里它们导致了稀疏误差交换的指数改进。

Jun, 2023

使用常数步长的梯度下降算法应用于线性可分数据的逻辑回归，证明了在初始震荡阶段后，算法能够在a步的时间内实现O(1/(aT))的收敛速率，从而在总步数为T的情况下，通过积极地调整步长可以达到O(1/T^2)的加速损失，无需使用动量或变化的步长调度器。

Feb, 2024

研究了使用大的恒定步长的逻辑回归问题上的梯度下降（GD）动态。

Jun, 2024