分散多智能体学习（DML）通过保护数据隐私实现协作模型训练。然而，代理资源的内在异质性（计算、通信和任务大小）可能导致训练时间的巨大变化。为减少在异质环境中的训练时间，我们提出了一种用于分散多智能体学习的通信高效的训练工作负载平衡方法（ComDML），通过分散方法平衡代理之间的工作负载。ComDML 利用局部损失切分训练，使较慢的代理将部分工作负载分配给较快的代理进行并行更新。为最小化整体训练时间，ComDML 通过综合考虑代理的通信和计算能力来优化工作负载平衡，其中涉及整数规划。我们开发了一种动态分散配对调度器来有效配对代理并确定最佳的分担量。我们证明，在 ComDML 中，较慢和较快的代理模型都能收敛于凸和非凸函数。此外，对流行数据集（CIFAR-10、CIFAR-100 和 CINIC-10）及其非 I.I.D. 变体，以及 ResNet-56 和 ResNet-110 等大模型进行了广泛的实验，结果表明 ComDML 相对于现有方法能够显著减少整体训练时间，同时保持模型准确性。ComDML 在异质环境中表现出鲁棒性，并且可以无缝集成隐私措施以增强数据保护。

May, 2024

在深度学习、卷积神经网络和大型语言模型的时代，机器学习模型变得越来越复杂，需要大量的计算资源进行推理和训练。为了解决这个挑战，分布式学习已经成为一种关键方法，通过在各种设备和环境中进行并行化来实现。本调查研究对分布式学习的领域进行了探索，涵盖了云端和边缘设置。我们深入研究了数据和模型并行性的核心概念，研究了如何在不同维度和层次上对模型进行分割以优化资源利用和性能。我们分析了针对不同层类型的各种分割方案，包括全连接层、卷积层和循环层，突出了计算效率、通信开销和内存限制之间的权衡。这项调查研究通过比较和对比不同背景下的分布式学习方法，为未来的研究和发展提供了宝贵的见解。

May, 2024

本文介绍机器学习技术的发展以及为了应对更加复杂的应用而需要分布式系统来分担机器学习的工作负担，但分布式系统带来的挑战在于高效地并行训练过程和创建一个连贯的模型。文中提供了分布式机器学习领域当前的最新进展和系统概述。

Dec, 2019

通过适用于边缘云资源的自适应压缩感知裂化学习方法，我们可以改善和训练深度学习模型，使其在网络上更加高效，并通过变换学习方法扩展训练，以换取更高效的推理能力，而不损失准确性。

Nov, 2023

本文提出了一个名为 DecentralizePy 的分布式框架，用于在任意拓扑结构下仿真大规模的去中心化学习网络，展示了在不同拓扑结构及节点数量下的去中心化学习所需的技术，包括剪枝和安全聚合。

Apr, 2023

本文提出了一种新颖的协议，用于安全的（拜占庭容错）分散式训练，强调通信效率。

Jun, 2021

通过提出 DaL 算法，将高度可配置软件系统的样本空间划分成不同的分区并在每个区域使用规范化的神经网络来应对功能稀疏性，以提高样本预测的准确度和效率。

Jun, 2023

分布式优化和学习，尤其是在联邦学习的现代框架中，通信对于慢速和昂贵的问题至关重要。我们介绍了一种名为 LoCoDL 的通信高效算法，它利用了本地训练和压缩这两种常用且有效的技术，通过降低通信频率和发送短的比特流而不是完整的浮点数向量。LoCoDL 适用于包括广泛使用的稀疏化和量化方法在内的大类无偏压缩器。在具有强凸函数的一般异构情况下，LoCoDL 可以从本地训练和压缩中获益，并且在功能条件数和模型维度方面具有双重加速的通信复杂度。实践中证实，LoCoDL 优于现有算法。

Mar, 2024

本研究关注分布式多任务学习问题，提出了一种基于 debaised lasso 的通信高效估计方法，能够在高维空间中学习线性预测器，并与最佳集中式方法相媲美。

Oct, 2015

利用分布式优化算法 DiLoCo，可以在受连接限制的设备群组中训练语言模型，具有与完全同步优化相媲美的性能，但通信开销降低了 500 倍，并且对于数据分布和资源可用性的变化都具有良好的鲁棒性。

Nov, 2023