May, 2023
可分离随机逼近框架下的在线学习
Online Learning Under A Separable Stochastic Approximation Framework
Min Gan, Xiang-xiang Su, Guang-yong Chen
TL;DR我们提出了一个基于分离随机逼近框架的在线学习算法，其中对于某些具有线性特性的模型参数，我们采用递归最小二乘（RLS）算法进行更新，然后根据更新后的线性参数，采用随机梯度法（SGD）更新非线性参数，该算法可以理解为一种随机逼近版块坐标梯度下降方法，已经在非凸情况下获得全局收敛性，数值实验表明，该方法提高了收敛速度并在与其他流行学习算法比较时产生更稳健的训练和测试性能，此外，我们的算法对学习速率不太敏感并且优于最近提出的 slimTrain 算法。