Dec, 2017
非Lipschitz连续情况下的确定性与随机次梯度方法的收敛速度
Convergence Rates for Deterministic and Stochastic Subgradient Methods
Without Lipschitz Continuity
TL;DR通过对Shor子梯度分析的推广，我们将子梯度方法的经典收敛速度理论扩展到可适用于非Lipschitz函数。我们证明了在任何具有局部Lipschitz性的凸函数中，确定性投影子梯度算法的全局O（1/√T）收敛速度。我们还表明，对于具有最多二次增长的凸函数，随机投影子梯度方法的收敛速度为O（1/√T），在强凸性或较弱的二次下限条件下，该速度可进一步提高至O(1/T)。