通过梯度下降学习随机人口模型
该论文提出了一种基于核的随机梯度下降算法，在训练过程中进行模型选择，不需任何形式的交叉验证或参数调整，并利用在线学习理论在数据相关性方面进行正则化的估计，证明了标准光滑性假设下的最优收敛速度。
Jun, 2014
通过引入随机计算图的形式化方法，该论文描述了如何自动推导损失函数梯度的无偏估计量，提出了一种计算梯度估计器的算法，从而统一了以前工作中推导的估算器和其中的方差减少技术，该算法使得研究人员可以开发涉及随机和确定性操作相结合的复杂模型，包括注意力、记忆和控制动作。
Jun, 2015
我们证明了随机梯度下降算法可以高效地收敛于未知线性时不变动态系统的极大似然目标函数的全局极值。虽然该目标函数是非凸的，但我们在强但自然的假设下提供了多项式运行时间和样本复杂度界限。尽管线性系统识别已经研究了许多年，但据我们所知，这是我们所考虑的问题的第一个多项式保证。
Sep, 2016
介绍一种使用卡尔曼过滤器进行随机优化的算法，并分析了其在非凸设置下收敛性的理论，并在神经网络和黑盒变分推理等许多机器学习领域上展示了其改进的性能。同时，介绍了一种分布式版本的算法，并将其扩展到SGD动量和RMSProp。
Oct, 2018
本文提出了一种使用线性搜索技术自动设置步长的随机梯度下降算法，在数据插值设置中，使用 Armijo 线性搜索方法的 SGD 实现凸和强凸函数的确定性收敛率，同时提出了一种 Lipschitz 线性搜索策略的随机额外梯度的算法，该算法在满足嵌入条件的非凸问题和鞍点问题的情况下实现了线性收敛率，并在标准分类任务上表现出了良好的性能。
May, 2019
介绍使用 Monte Carlo 梯度估计策略解决机器学习中的梯度问题和灵敏度分析的方法和历史发展，并深入探讨了路径、分数函数和测度梯度估计器的应用、关系和可能的泛化。
Jun, 2019
提出一种基于统计检验的适应性方法，通过检测随机梯度下降算法的动态变化达到均衡状态后衰减学习率，解决了手动调参的繁琐问题，实现了类似于手动调参的性能并在多个深度学习任务中得到了验证。
Sep, 2019
本论文介绍了通过使用随机梯度算法来近似解决高斯过程中线性系统求解的限制，并利用影响收敛的隐含偏差的谱特点来解释结果，最终在大规模数据集上取得了最先进的预测性能和不确定性估计。
Jun, 2023
我们提出了Population Descent，这是一个专注于超参数优化的模因算法。通过自适应的m优秀个体选择方法和基于标准化适应度的随机化方案，我们展示了这种算法在常见的基准任务上比复杂的现有算法提高了最多13%的性能。
Oct, 2023
在当今时代，计算机、计算和数据在科学研究和发现中的重要性不断增加。本论文主要关注梯度本身，解决非线性优化问题，并介绍了逆向微分的概念和应用，以及分段连续模型的使用案例。
May, 2024