Jun, 2024

ACCO：分布式 LLM 训练中隐藏通信的累积通信技术

PDF
TL;DR我们提出了一种适用于大规模语言模型分布式训练的高效优化算法，可以减小通信成本，加速收敛速度，并且适应异构硬件。
large language modelsdistributed trainingsynchronizing gradientsoptimization algorithmsmemory-efficient optimization
发现论文，激发创造
  • DiLoCo: 分布式低通信语言模型训练

    利用分布式优化算法 DiLoCo，可以在受连接限制的设备群组中训练语言模型，具有与完全同步优化相媲美的性能，但通信开销降低了 500 倍，并且对于数据分布和资源可用性的变化都具有良好的鲁棒性。

    Nov, 2023

  • CO2：高效分布式训练与完全通信 - 计算重叠

    基于限制带宽的集群，我们提出了一种名为 CO2 的新方法，通过引入局部更新和异步通信实现分布式数据并行训练的完全重叠，从而实现大规模训练的高可扩展性。我们还提出了降低收敛性和训练稳定性的过时惩罚和外部动能裁剪技术。通过大量实验验证了 CO2 在计算机视觉和自然语言处理领域的各种任务上的收敛性、泛化性和可伸缩性，无论是在具有 800Gbps RDMA 还是 80Gbps TCP/IP 的集群中，CO2 都表现出卓越的能力来大幅提高可扩展性。

    Jan, 2024

  • 通信高效的分布式对偶坐标上升

    提出了一种称为 CoCoA 的通信高效的框架，该框架采用原始 - 对偶设置进行本地计算，从而显著减少必要的通信，实验结果表明，相比于 SGD 和 SDCA 算法，CoCoA 在平均 25 倍的时间内收敛到相同的.001 精度解决方案质量。

    Sep, 2014

  • LoCoDL: 通讯高效的分布式学习与本地训练压缩

    分布式优化和学习，尤其是在联邦学习的现代框架中，通信对于慢速和昂贵的问题至关重要。我们介绍了一种名为 LoCoDL 的通信高效算法，它利用了本地训练和压缩这两种常用且有效的技术，通过降低通信频率和发送短的比特流而不是完整的浮点数向量。LoCoDL 适用于包括广泛使用的稀疏化和量化方法在内的大类无偏压缩器。在具有强凸函数的一般异构情况下，LoCoDL 可以从本地训练和压缩中获益，并且在功能条件数和模型维度方面具有双重加速的通信复杂度。实践中证实，LoCoDL 优于现有算法。

    Mar, 2024

  • LAG：用于通信高效分布式学习的惰性聚合梯度

    本文提出了一种新类的渐变方法，用于分布式机器学习，可以通过自适应地跳过梯度计算来降低通信和计算成本，并经过了数值实验的验证。

    May, 2018

  • 局部更新 SGD 中的最佳错误 - 运行时间平衡的自适应通信策略

    本文介绍 AdaComm，一种自适应通信策略，可以更快地训练深度神经网络，使大规模机器学习训练更 robust 且具有更快的收敛速度。

    Oct, 2018

  • CoCoA: 通信高效分布式优化框架

    CoCoA 是一种分布式计算框架，适用于机器学习和信号处理中的大型数据集，拓展到包括 L1 正则化问题等非强凸正则化器，采用一种新的方法来处理非强凸正则化器和非光滑损失函数，具有明显优于现有方法的性能。

    Nov, 2016

  • 通过惰性聚合量化梯度进行高效的分布式学习通信

    本文提出了一种新的集成梯度方法来进行分布式机器学习，其通过量化计算的梯度避免信息不足的梯度通信并高效减少通信开销。实验证明，与现有的基于梯度或随机梯度的算法相比，该算法可以显著减少通信量和通信轮数。

    Sep, 2019

  • 更快的分布式深度神经网络训练：计算和通信解耦合的随机梯度下降

    本文提出了 Computation and Communication Decoupling Stochastic Gradient Descent (CoCoD-SGD) 算法，实现了计算和通信的并行处理，有效减少了通信开销，较传统分布式 SGD 算法具有更高的时间加速度，在 16 个 GPU 上的 ResNet18 和 VGG16 深度神经网络训练表现出 2-3 倍的速度提升。

    Jun, 2019

  • 面向通信高效的自适应梯度方法

    提出了一种适用于联邦学习的自适应梯度方法，该方法能够保证收敛和通信效率。

    Sep, 2021