本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。

Mar, 2022

本论文研究了一组学习代理在协作对等网络中，每个代理根据自己的学习目标学习个性化模型。本文介绍和分析了两种异步流言算法，以完全分散的方式运行。我们的第一种方法旨在在网络上平滑预训练的本地模型，同时考虑每个代理在其初始模型中的置信度。在我们的第二种方法中，代理共同学习和传播其模型，基于其本地数据集和邻居的行为进行迭代更新，为了优化这一具有挑战性的目标，我们的分散算法是基于 ADMM。

Oct, 2016

本研究提出了一种异步、分散的共识优化算法，可在没有全局时序同步的情况下，利用本地计算和信息传递，在有限延迟和随机代理假设下收敛于精确解。

Dec, 2016

代理协同训练的异步学习过程中，通过分布式优化和深度学习进行资源分配的关键问题与相关的研究领域探索。

Nov, 2023

本文提出了一种可靠性高、计算效率高的分布式 MCMC 算法来处理分布式数据集，该算法在高维环境下证明具有可伸缩性，并通过合成和真实数据的实验验证了方法的重要性。

Jun, 2021

本文提出了一种基于中心化分布式学习算法，结合主动学习和联邦学习范式，优化计算和通信资源利用，实现了精确模型预测性能，且表现接近非分布式学习的最新水平。

Jan, 2020

我们研究了一个异步操作的代理网络，旨在发现适合个体本地数据集的理想全局模型。我们的假设是每个代理根据自身算法独立选择何时参与，并在任何给定时刻选择与其合作的特定子集。在该设置下，我们证明了异步扩散策略在均方误差意义下是稳定的，并针对联邦学习设置提供性能保证。我们通过数值模拟进行了实证研究。

Feb, 2024

本文提出了一种在分散型学习代理网络上执行贝叶斯推断的近似方法，该方法首先对每个学习代理使用变分推断生成本地近似后验，代理将本地后验传输到网络中的其他代理，最后每个代理组合其收到的本地后验。实验结果表明，这种分散式方法在计算性能和预测测试可能性方面具有优势。

Mar, 2014

该论文提出了一种并行的马尔可夫链蒙特卡罗算法，能够降低学习过程中的同步需求所带来的通信成本，并成功地实现了在多台机器上独立处理多个数据子集，从而生成大数据集的后验分布样本。

Nov, 2013

本文研究了智能代理在协调、学习中的作用，提出了一种基于信息传递的优化方法，通过实验表明该方法可以增强现有的分散式训练方法，具有推广应用的潜力。

Mar, 2021