Jun, 2014
通过无需调参的随机学习实现同时进行模型选择和优化
Simultaneous Model Selection and Optimization through Parameter-free Stochastic Learning
Francesco Orabona
TL;DR该论文提出了一种基于核的随机梯度下降算法，在训练过程中进行模型选择，不需任何形式的交叉验证或参数调整，并利用在线学习理论在数据相关性方面进行正则化的估计，证明了标准光滑性假设下的最优收敛速度。
Abstract
stochastic gradient descent algorithms for training linear and kernel
predictors are gaining more and more importance, thanks to their scalability.
While various methods have been proposed to speed up their convergence, the
→
发现论文，激发创造
可分离随机逼近框架下的在线学习
我们提出了一个基于分离随机逼近框架的在线学习算法，其中对于某些具有线性特性的模型参数，我们采用递归最小二乘（RLS）算法进行更新，然后根据更新后的线性参数，采用随机梯度法（SGD）更新非线性参数，该算法可以理解为一种随机逼近版块坐标梯度下降方法，已经在非凸情况下获得全局收敛性，数值实验表明，该方法提高了收敛速度并在与其他流行学习算法比较时产生更稳健的训练和测试性能，此外，我们的算法对学习速率不太敏感并且优于最近提出的 slimTrain 算法。
May, 2023
模型选择实现无参在线学习
该研究提出了一种新型算法框架用于在线学习的模型选择，通过采用随机演出的基于新型算法框架的 “多尺度” 算法进行预测，可以在最小结构假设下，获得在线模型选择预言不等式，实现了一种通用的元算法框架，并进一步为矩阵类、非嵌套凸集等特殊模型提供了新的预言不等式。
Dec, 2017
自适应 SGD 分布式随机优化
本文提出了一种高效的分布式随机优化方法，通过结合适应性与方差约减技术，从而实现任何串行在线学习算法的并行计算，能够在不需要光滑参数的先验知识的情况下实现最优收敛速率，同时通过 Spark 分布式框架的实现能够对大规模逻辑回归问题进行高效处理。
Feb, 2018
使用神经切向核的随机边缘似然梯度
本研究介绍了一种基于贝叶斯模型选择和拉普拉斯逼近的方法，通过引入下界到边缘似然的线性化拉普拉斯逼近，用于选择深度学习的超参数优化，该方法可以使用随机梯度基于优化，并可以利用神经切向核估计。实验结果表明，该估计器可以显着加速基于梯度的超参数优化。
Jun, 2023
非参数方法下随机梯度下降在无噪声线性模型中的紧致收敛速率
本文探究噪声线性模型下单次训练中的随机梯度下降算法，证明了其收敛性和泛化误差的多项式收敛率，解释了结果在再生核希尔伯特空间框架下的意义，同时将分析应用于超出监督学习的场景。
Jun, 2020