本文考虑了一个分布式的多智能体网络系统，旨在最小化代理的凸目标函数之和，并遵守共同的凸约束集。本文探讨了随机阶梯下降法的收敛性，并提出了一些保证收敛性的条件。
Nov, 2008
该论文提出了基于随机条件梯度方法的优化问题求解算法，用于解决大规模维度下的凸函数、连续子模型等多种问题，并证明了当问题维度高时，该方法较与传统的随机梯度下降法更加稳定，同时计算时间复杂度也得到了有效降低。
Apr, 2018
本文研究了节点网络上的去中心化在线随机非凸优化。通过将梯度跟踪技术集成到去中心化随机梯度下降中，我们证明了该算法具有一定的优势，并分析了其有效性和性能。同时，对于满足 Polyak-Lojasiewics 条件的全局非凸函数，我们确定了 GT-DSGD 的线性收敛性，并且在几乎每条路径上具有最优的全局亚线性收敛速度。
Aug, 2020
本文研究随机梯度下降的变体 —— 马尔科夫链梯度下降算法，并针对非凸问题和不可逆有限状态马尔科夫链等情形，提出可行的非等时收敛证明，并通过实验验证其有效性。
Sep, 2018
本文研究了一类增量方法，用于解决微弱凸优化问题，并证明了这三种增量方法可以使自然稳定性测量值小于给定的极值下界，同时，当微弱凸函数满足锐化条件时，经过适当的初始化和几何递减的步长，三种增量方法可以实现局部线性收敛速度，最后在鲁棒矩阵感知问题上进行了数值实验。
Jul, 2019
本文应用马尔科夫链理论，通过随机梯度下降（SGD）算法来计算目标函数，并提供了一种新的 Richardson-Romberg 外推方法来优化 SGD 算法，通过渐进展开分析，总结出其与初始条件、噪声和步长的相关性。
Jul, 2017
本文针对随机优化问题提出了两种自适应步长方案，并在此基础上设计了一种局部平滑技术，以获得可微的函数逼近，从而实现了一个自适应步长随机逼近框架。在三个随机优化问题中，两种方案表现良好并且不依赖用户定义参数。
May, 2011
本文研究在多智能体网络中，基于 Bregman 散度作为距离测度函数，提出了两种高效的非欧几里德随机次梯度下降算法，用于求解非平滑和强凸函数的最小值，并在模拟实验中验证其收敛速度。
Oct, 2016
研究连续子模最大化问题，通过提供新颖的算法并使用随机持续优化作为接口，在满足约束条件的情况下获得了紧密的逼近保证。
Nov, 2017
本文介绍了一种基于随机投影次梯度方法的弱凸（即均匀逼近正则）非光滑非凸函数的算法，并通过简单证明证明这种方法与用于光滑非凸问题的随机梯度方法具有相同的收敛速度；这似乎是第一个针对弱凸函数类的随机次（或确定性）梯度法的收敛速度分析。