我们提出了一种基于八卦的分布式多级优化算法，它使网络代理能够在单一时间尺度上解决不同级别的优化问题，并通过网络传播共享信息。我们的算法在网络规模上线性扩展，并在超参数调整、分散强化学习和风险规避优化等各种应用中实现了最佳的样本复杂性。
Oct, 2023
通过开发一种新的具有动量的分布式随机组合梯度下降上升算法，我们解决了分布式组合极小化问题中内层函数的共识误差，并证明了其能够实现线性加速。我们相信这种算法设计能够促进分布式组合优化的发展。对于不平衡分类问题，我们的广泛实验结果证明了算法的有效性。
Jul, 2023
本研究提出了两种利用移动平均随机估计的梯度下降算法，用于解决多层级组合优化问题，并且修改后的算法在不需要小批量样本的前提下，大大提高了样本复杂度，最终达到了单层级设置的同样的样本复杂度。
Aug, 2020
该研究开发和分析了用于解决嵌套复合双层优化问题的随机逼近算法，并利用 Neumann 级数逼近来避免矩阵求逆，以实现对于存在偏差的随机梯度的稳定解决方案，研究成果具有在深度神经网络中应用鲁棒特征学习等方面的实际优势。
我们开发了一种新颖的去中心化随机双层梯度下降算法，在异构环境中具有每轮小的通信成本和通信轮数，从而比现有算法实现了更好的通信复杂度。我们还将我们的算法扩展到更具挑战性的去中心化多级优化问题。根据我们的知识，我们是第一次在异构环境下实现这些理论结果。最后，实验结果证实了我们算法的有效性。
Nov, 2023
研究了分散设置下非凸强凸双层优化问题，在确定性和随机双层优化问题上设计了分散算法。分析了算法的收敛速度，包括在代理间观察到数据异构性的情况。通过对合成和真实数据的数值实验表明，所提出的方法是有效的。
Jun, 2022
本文针对分布式算法模型中面临的发散问题，提出了两种基于随机梯度下降的算法，并证明了其具有良好的收敛性能，这是首个针对分布式情况下的凸 - 非凸问题的线性收敛性的成果。
Apr, 2023
这篇论文介绍了一种统一的收敛性分析方法，涵盖了许多分散式随机梯度下降方法，具有计算成本低、数据本地性和沟通效率等优点，并包括本地随机梯度下降更新和自适应网络拓扑上的同步和成对传递更新，我们推导了光滑（凸和非凸）问题的通用收敛率，并在不同的数据分布和 iid 数据设置下进行了插值。
Mar, 2020
本文研究了在网络上进行分布式双层优化问题，提出了一种基于谣言传播的分布式双层学习算法，证明了该算法对于一般非凸双层优化和强凸优化具有最优的样本复杂度，并在多项任务进行的两个例子中进行了测试。
我们提出了一种分布式梯度方法 ——Multi-Level Local SGD，用于在异构多级网络中学习一个平滑的、非凸的目标。
Jul, 2020