Apr, 2019
通过鞅 CLT 的非渐近速率对随机梯度下降进行正常近似
Normal Approximation for Stochastic Gradient Descent via Non-Asymptotic Rates of Martingale CLT
Andreas Anastasiou, Krishnakumar Balasubramanian, Murat A. Erdogdu
TL;DR本文提供了一类可微测试函数的 Polyak-Ruppert 平均随机梯度下降（SGD）收敛到正态随机向量的非渐近速率，其中一个关键的中间步骤是证明一个非渐近鞅中心极限定理。我们使用 Stein 方法和 Lindeberg 的论证以及非渐近分析与 [PJ92] 提出的平均 SGD 一起得到了多元鞅 CLT 的显式速率。我们的结果对于使用 SGD 计算参数估计的置信区间以及在非渐近意义下构建假设检验的 SGD 可能具有有趣的影响。