KDDOct, 2020

大规模培训推荐系统：通信高效模型和数据并行处理

PDF
TL;DR本文针对分布式系统中大规模推荐模型的分布式训练提出了一种基于数据并行性和模型并行性的混合并行计算模型，并设计了动态通信阈值压缩框架，该框架能够有效地减少通信开销并提高训练效率。实验结果表明，使用该算法可以在不降低性能的情况下，将数据并行和模型并行的通信量分别降低至原来的 1% 和 5%。
hybrid parallelismrecommendation modelsdynamic communication thresholdingcommunication-efficient trainingneural network
发现论文，激发创造
  • 通过双层自适应损失压缩加速深度学习推荐模型训练

    DLRM 模型是一种先进的推荐系统模型，由于其大尺寸，需要使用多个设备 / GPUs 进行高效训练。为了减少训练时间中通信的瓶颈，我们引入了一种利用有误差限制的有损压缩方法，以降低通信数据大小并加速 DLRM 训练。我们开发了一种新颖的有误差限制的有损压缩算法，并通过对嵌入数据特征的深入分析来实现高压缩比。此外，我们引入了一个双层自适应策略，涵盖了表格和迭代两个方面的误差限制调整，以平衡压缩带来的好处和对准确性的潜在影响。我们还针对 GPU 上的 PyTorch 张量优化了我们的压缩器，最小化了压缩开销。评估结果表明，我们的方法实现了 1.38 倍的训练加速，几乎不影响准确性。

    Jul, 2024

  • 分布式训练的通信优化：架构、进展和机遇

    大规模深度神经网络的分布式训练通信优化的研究，提出了一个五层范式，强调协同设计的机会。

    Mar, 2024

  • 分散多智能体学习的通信高效负载平衡

    分散多智能体学习（DML）通过保护数据隐私实现协作模型训练。然而，代理资源的内在异质性（计算、通信和任务大小）可能导致训练时间的巨大变化。为减少在异质环境中的训练时间，我们提出了一种用于分散多智能体学习的通信高效的训练工作负载平衡方法（ComDML），通过分散方法平衡代理之间的工作负载。ComDML 利用局部损失切分训练，使较慢的代理将部分工作负载分配给较快的代理进行并行更新。为最小化整体训练时间，ComDML 通过综合考虑代理的通信和计算能力来优化工作负载平衡，其中涉及整数规划。我们开发了一种动态分散配对调度器来有效配对代理并确定最佳的分担量。我们证明，在 ComDML 中，较慢和较快的代理模型都能收敛于凸和非凸函数。此外，对流行数据集（CIFAR-10、CIFAR-100 和 CINIC-10）及其非 I.I.D. 变体，以及 ResNet-56 和 ResNet-110 等大模型进行了广泛的实验，结果表明 ComDML 相对于现有方法能够显著减少整体训练时间，同时保持模型准确性。ComDML 在异质环境中表现出鲁棒性，并且可以无缝集成隐私措施以增强数据保护。

    May, 2024

  • CO2：高效分布式训练与完全通信 - 计算重叠

    基于限制带宽的集群，我们提出了一种名为 CO2 的新方法，通过引入局部更新和异步通信实现分布式数据并行训练的完全重叠，从而实现大规模训练的高可扩展性。我们还提出了降低收敛性和训练稳定性的过时惩罚和外部动能裁剪技术。通过大量实验验证了 CO2 在计算机视觉和自然语言处理领域的各种任务上的收敛性、泛化性和可伸缩性，无论是在具有 800Gbps RDMA 还是 80Gbps TCP/IP 的集群中，CO2 都表现出卓越的能力来大幅提高可扩展性。

    Jan, 2024

  • 面向多语言神经机器翻译的适配器通信高效联邦学习

    本文提出了一种新的联邦式多语言神经机器翻译框架。相比中心化训练，该框架通过模型同步，只传输轻量化的适配器模块，降低了模型同步的通信代价。作者同时探索了各种聚类策略来减少冲突，并在适配器模块上进行了修剪，成功地提出了通信效率。实验结果表明，该框架在实现相当甚至更好的性能的同时，可以将通信代价降低 98% 以上。

    May, 2023

  • 高效通信的大规模分布式深度学习综述

    这篇文章调查了 2018 年至 2023 年期间关于算法和技术的文献，旨在实现大规模分布式深度学习中的高效通信，包括算法、框架和基础设施。具体而言，我们首先介绍了在大规模分布式训练中模型同步和通信数据压缩方面的高效算法。接下来，我们介绍了与分布式训练和推理中资源分配和任务调度相关的高效策略。此后，我们介绍了现代通信基础设施中使用的最新技术，重点研究了大规模和异构环境下通信开销的影响。最后，我们通过对大规模语言模型的分布式训练进行案例研究，展示了如何在实际情况中应用这些技术。这篇文章旨在为研究人员提供对大规模分布式深度学习的现状全面的理解，并揭示在这一领域中通信高效解决方案的有希望的未来研究方向。

    Apr, 2024

  • 深度梯度压缩：降低分布式训练的通信带宽

    本文提出深度梯度压缩 (DGC)，通过动量修正、局部梯度截断、动量因子掩模和预热训练，使得分布式 SGD 中 99.9% 的梯度交换变得不重要，从而大大减少通信带宽需求，有效保持模型准确率，支持在 1Gbps 以太网和移动设备上进行大规模分布式训练。

    Dec, 2017

  • 分布式训练系统中梯度压缩的效用

    为了解决同步数据并行训练中的通信瓶颈，本研究评估了梯度压缩方法的有效性，并将它们的可扩展性与优化后的同步数据并行 SGD 实现进行了比较。分析发现，仅有 6 种情况下，梯度压缩方法提供了速度优势。本研究提出了一种性能模型，用于确定在各种系统设置中梯度压缩的益处，并提出了一些理想的梯度压缩方法的性质列表，以获得有意义的综合优势。

    Feb, 2021

  • 异步张量并行通信最小化

    本研究提出 Tensor3D 算法来高效地训练具有数十亿参数的神经网络，能够最小化通信引起的空闲时间，通过智能神经网络参数分布、并行训练过程的超分解以及通信模型，优化通信，相较于 Megatron-LM，Tensor3D 将 28B 参数 CNN 在 256 个 A100 GPU 上的训练时间缩短了近 60%。

    May, 2023

  • PowerGossip: 分散式深度學習中实用的低秩通信压缩

    介绍了一种使用低秩线性压缩器直接压缩相邻工作器之间的模型差异的简单算法，在分布式机器学习训练中具有实际应用价值，无需额外的超参数，收敛速度比之前的方法快，并且在一系列深度学习基准测试中的表现与经过调优的最先进压缩算法相当。

    Aug, 2020