我们开发了一种新的并行算法，用于最小化具有随机次梯度子序列的 Lipschitz 函数。与现有的先进交互式查询次数和查询深度相匹配的同时，在精度足够小时通过多项式因子改进了计算深度。结合之前现有的最先进方法，我们的结果填补了并行算法的已知最佳查询深度和计算深度之间的差距。

Jun, 2024

本文研究使用计算机预测的随机凸优化的复杂性，提出了改善已知结果的方法，并获得了各种函数类的紧致极小复杂度估计。

Sep, 2010

该文主要研究基于梯度的优化算法中的延迟随机梯度信息的收敛性，以及如何应用于分布式优化算法中克服通信瓶颈和同步要求的问题，结果表明在平滑随机问题中，延迟是渐近可以忽略的，且能达到最优收敛效果。

Apr, 2011

本文提出了一种高效的分布式随机优化方法，通过结合适应性与方差约减技术，从而实现任何串行在线学习算法的并行计算，能够在不需要光滑参数的先验知识的情况下实现最优收敛速率，同时通过 Spark 分布式框架的实现能够对大规模逻辑回归问题进行高效处理。

Feb, 2018

探究计算机体系结构和日益增长的数据集规模增大了异步并行优化算法在机器学习领域中的必要性，以及解决其理论分析的难题，提出一种新的 “扰动迭代” 框架，通过对三种不同的异步并行优化算法的实验分析，得出以往的假设存在问题，提高了算法的理论性能，以及研究了理论分析中的重要参数 “重叠常数” 与之前猜想不同，其复杂性更高。

Jan, 2018

我们提出了一个分布式优化的离散时间模型，适用于具有动态有向图的连续时间分布式学习，并消除了对链接进行随机权重设计的需求，通过共识算法、矩阵扰动理论和 Lyapunov 理论，我们证明了梯度跟踪步长和离散时间步长的收敛性和动态稳定性，该工作在链接删除或数据丢失的情况下改善了现有随机权重无向网络的性能，而无需重新运行耗时和计算复杂的算法。该提出的优化框架在分布式分类和学习中具有应用价值。

Nov, 2023

本文提出了一个称为 Splash 的通用框架，用于在多节点分布式系统上并行化随机算法，该框架以编程接口和执行引擎组成。在实现中，我们提供了关于并行化随机梯度下降的最优收敛率的理论论述。实验结果表明，Splash 相对于单线程随机算法和 Spark 上最先进的实现可以获得数量级的加速。

Jun, 2015

本文采用一种新方法，通过估计随机优化器的稳态分布，从多条优化轨迹的集合中综合评估，旨在解决当前对深度学习优化算法有效性的理解不完整的问题。通过合成函数和计算机视觉、自然语言处理等领域的实际问题的评估，我们着重在统计框架下进行公平的基准测试和建立统计显著性，揭示了训练损失与保持精确度之间的关系以及 SGD、噪声使能变体和利用 BH 框架的新优化器的可比性能，值得注意的是，这些算法展示了与 SAM 等平坦最小值优化器相当的性能，但梯度评估减少了一半。我们期待我们的工作将促进深度学习优化的进一步探索，鼓励从单模型方法转向更加认识和利用优化器的随机性质的方法。

Mar, 2024

本文研究具有目标不确定性的二阶段鲁棒优化问题，提出了一种算法，通过交替求解基础确定性问题和对抗性问题来高效计算二阶段鲁棒问题的下界。该算法适用于线性和非线性目标函数，研究发现其在非线性目标函数下，具有更高的性能表现。同时作者还测试了基于列生成和约束生成算法的另一种求解方法，发现分支定界算法的表现更胜一筹。

May, 2019

本文综述了近年来在大规模优化问题中应用的异步优化方法的最新发展，旨在提高计算资源利用率和收敛速度，在处理信息延迟、节点延迟等问题时，尤其是在随机优化方法中，异步更新方式具有更为优越的性能。

Jun, 2020