研究了具有罕见连接的分布式机器学习优化问题，提出了理论解释，解释了合作可以获得比训练单独更大的学习率，并描述了不同图形拓扑的相对优点。
Jun, 2022
这篇论文介绍了一种统一的收敛性分析方法，涵盖了许多分散式随机梯度下降方法，具有计算成本低、数据本地性和沟通效率等优点，并包括本地随机梯度下降更新和自适应网络拓扑上的同步和成对传递更新，我们推导了光滑（凸和非凸）问题的通用收敛率，并在不同的数据分布和 iid 数据设置下进行了插值。
Mar, 2020
本文提出一种基于统计估计模型的分布式机器学习通信优化方案，将梯度稀疏化技术与随机梯度业务结合，实现了通信效率与模型性能的均衡优化。
May, 2020
本文研究了分布式数据集下的分布式深度学习中的通信拓扑问题，提出一个基于梯度优化的 Heavy-ball 加速策略和共识协议的无中心化方法，并理论和经验上证明，在各种通信拓扑下都取得了更好的效果。
Oct, 2020
通过直接节点间合作训练的机器学习模型中，我们探讨了连接节点的网络拓扑对其性能的影响，研究了不同类型的拓扑对知识传播的作用，揭示了节点的连接性和网络性质在此过程中的不同角色，证明了知识传播不仅仅需要节点之间的弱连通性，而且较为集中的节点在传播中起到了重要作用，而紧密结合的群体则严重阻碍了知识传播。
Jul, 2023
本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。
Mar, 2022
本文介绍了去中心化优化中最近的研究进展，并概述了针对不同场景的算法和分析，强调了网络拓扑在这些方法中的作用。
Sep, 2017
该研究探讨了分散式学习框架的收敛性与混合度之间的关系，并提出了一种定量衡量梯度混合度的指标以及优化方法，通过实验证明该方法能够在计算机视觉和 NLP 等任务中提高测试表现。
Apr, 2022
通过预训练的神经重参数化策略，在潜在空间中优化设计相对于传统方法而言能减少至少一个数量级的迭代次数，这在拓扑优化中具有重要意义。
Mar, 2024
提出了一种适用于联邦学习的自适应梯度方法，该方法能够保证收敛和通信效率。
Sep, 2021