本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。

May, 2022

在多智能体系统中，为解决分布式学习问题，本研究提出了一种名为 DOT-ADMM 的算法，通过在线学习、异步智能体计算、不稳定与受限通信以及近似本地计算等方法，保证了算法的收敛性和稳健性。

Sep, 2023

本论文研究了一组学习代理在协作对等网络中，每个代理根据自己的学习目标学习个性化模型。本文介绍和分析了两种异步流言算法，以完全分散的方式运行。我们的第一种方法旨在在网络上平滑预训练的本地模型，同时考虑每个代理在其初始模型中的置信度。在我们的第二种方法中，代理共同学习和传播其模型，基于其本地数据集和邻居的行为进行迭代更新，为了优化这一具有挑战性的目标，我们的分散算法是基于 ADMM。

Oct, 2016

分布式学习问题中，通过在网络上交换信息，代理可以最小化全局目标函数。我们的方法具有两个显著特点：只在必要时触发通信以大幅减少通信量，并且对于不同代理的本地数据分布置之不理。我们分析了算法的收敛速度并在凸设置中导出了加速收敛速率。我们还表征了通信丢失的影响，证明了我们的算法对通信故障具有鲁棒性。文章最后提供了分布式 LASSO 问题、MNIST 数据集和 CIFAR-10 数据集上的分布式学习任务的数值结果。实验结果强调了基于事件的通信策略带来的 50% 或更多的通信节省，展示出对异构数据分布的韧性，并凸显我们的方法优于 FedAvg、FedProx 和 FedADMM 等基线方法。

May, 2024

Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

Feb, 2016

本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式，使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练，通过适应路径损耗、衰落、阻挡和干扰等因素的技术，在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。

Feb, 2020

本文提出一种快速且高效的分布式机器学习框架，名为 Group Alternating Direction Method of Multipliers (GADMM)，该算法在分布式 topology 中解决问题，且与现有算法相比，实现更快的收敛和更高的通讯效率；此外，还提出了 GADMM 的变体，即 Dynamic GADMM (D-GADMM)，并证明了其在时间变化的网络拓扑下的收敛性。

Aug, 2019

研究在图形上进行分散敌对训练以提高多智能体系统的鲁棒性。通过使用传播学习的 min-max 形式，我们开发了一种分散的敌对训练框架，在凸和非凸环境中分析了所提出方案的收敛性，并说明了对抗攻击的增强鲁棒性。

Mar, 2023

在这篇论文中，我们提出了一种名为 LoDMeta（本地分布式元学习）的方法，利用本地辅助优化参数和模型参数的随机扰动来降低通信成本并提高数据隐私保护。理论结果和实证结果都表明，LoDMeta 与集中式元学习算法相比具有相似的元学习准确性，但不需要从每个客户端收集数据，并且能够更好地保护每个客户端的数据隐私。

Jun, 2024

本研究侧重于分散学习的通信方面，探讨了广播传输和概率随机访问策略对分布式随机梯度下降 (D-SGD) 收敛性能的影响，结果表明，优化访问概率能够极大地加速系统的收敛速度。

May, 2023