Mar, 2024
带有 Massart 噪声的流式线性和修正线性系统的随机梯度下降
Stochastic gradient descent for streaming linear and rectified linear systems with Massart noise
Halyun Jeong, Deanna Needell, Elizaveta Rebrova
TL;DR提出了 SGD-exp，这是一种用于线性和 ReLU 回归的随机梯度下降方法，适用于完全流式设置下的 Massart 噪声（对抗性半随机破坏模型）。我们展示了 SGD-exp 对真实参数的新近线性收敛保证，在高达 50% 的 Massart 破坏率以及对称无知破坏的任何破坏率的情况下。这是首个针对流式设置中鲁棒 ReLU 回归的收敛保证结果，并且它展示了相对于之前鲁棒 L1 线性回归方法的收敛速度的改善，因为选择了指数衰减的步长，它在实践中具有高效性。我们的分析基于离散随机过程的漂移分析，这本身也可能很有趣。