Feb, 2024

ForestColl：异构网络纺织品上的高效集体通信

PDF
TL;DR在现代 DNN 模型不断增大的同时，加速器之间的集体通信（allreduce 等）成为一个重要的性能瓶颈。在今天高度多样化和异构的网络结构下，设计高效的通信调度是具有挑战性的。本文提出了 ForestColl，一种为任何网络拓扑生成高效调度的工具。ForestColl 构建广播 / 聚合的生成树作为通信调度，实现了理论上的最小网络拥塞。其调度生成在强多项式时间内运行，并具有高度可扩展性。在多集群 AMD MI250 和 NVIDIA A100 平台上评估了 ForestColl。与供应商自己优化的通信库 RCCL 和 NCCL 相比，ForestColl 的调度性能提高了多达 52％。ForestColl 还在生成调度效率上超过其他最先进的调度生成技术，生成的调度更加高效，在调度生成速度上有数量级的提升。
dnn modelscollective communicationsnetwork fabricsforestcollschedule generation
发现论文，激发创造
  • 集体通信的带宽最优流水线调度

    本文提出了一种强多项式时间算法，可以在任何网络拓扑上生成带宽优化的全局 / 归约散播，算法构建了流水线调度，实现了在给定网络拓扑上最佳的带宽性能。

    May, 2023

  • Blink: 分布式机器学习的快速通用集合

    Blink 是一种集合通信库，它通过打包生成生成最佳通讯原语的生成树来解决 GPU 上的参数同步问题，而且还可以利用异构通信通道实现更快的数据传输，从而优化数据并行训练，提高图像分类任务的效率。

    Oct, 2019

  • Hoplite：面向任务型分布式系统的高效容错集体通信

    Hoplite 是一种高效的、容错的、用于面向任务的分布式系统的集体通信层，它能够实时计算数据传输计划并通过细粒度流水线方式执行以处理异步和动态工作负载，同时提供容错能力，可应用于异步随机梯度下降等应用，提高传统集体通信效率达 7.8 倍。

    Feb, 2020

  • ACCL+：基于 FPGA 的分布式应用集合引擎

    为了方便开发分布式 FPGA 应用，本文提出了一种开源的多功能基于 FPGA 的集体通信库 ACCL+，可以作为 CPU 应用的集体卸载引擎，同时通过两个应用案例展示其在分布式深度学习推荐推理中的关键作用和高效性能。

    Dec, 2023

  • 优化联邦学习在 6G 网络的计算和网络融合中的通信效率

    通过引导参与联邦学习的设备基于业务需求、资源负载、网络状况和设备的算术能力，计算和网络融合（CNC）可以提高联邦学习在复杂网络环境中的通信效率，并通过优化模型参数传输过程中的通信效率来解决复杂网络情况下的延迟分布和网络资源利用率的问题。

    Nov, 2023

  • TACOS：分布式训练拓扑感知集合算法合成器

    本文介绍了 TACOS，一种自动化的拓扑感知集体算法合成器，可应用于任意输入网络拓扑结构，优化了通信效率，加速了 All-Reduce 算法，适用于分布式训练等领域。

    Apr, 2023

  • 多服务器无线联邦学习

    本文提出了一种基于聚类的两层联邦学习算法，使用可扩展的聚类无线聚合方案实现算法的上行传输，使用适用于带宽受限的广播方案进行下行传输，展示了在干扰环境下该方法的高精度学习表现并导出该方法的收敛界。

    Nov, 2022

  • 灵活通信实现不确定网络下的最优分布式学习

    梯度压缩通过发送更少的值和对应的索引（通常通过 Allgather）来减轻分布式深度学习中昂贵的通信成本。本文提出了一种与 Allreduce 兼容的 Topk 压缩器，在某些网络配置中比 Allgather 表现更好。我们开发了一种灵活的通信策略，根据当前设置中哪个集合操作最优，切换 AG 和 AR 之间的选择，并将并行效率和统计效率的帕累托关系建模为一个多目标优化问题，以动态调整压缩比并加速训练，同时仍收敛于高准确性。

    Dec, 2023

  • DynaComm：通过动态通信调度加速边缘和云之间的分布式 CNN 训练

    DynaComm 是一种新颖的调度程序，用于加速网络边缘处分布式卷积神经网络（CNN）的训练，通过动态将每个传输过程分解成几个片段，以实现运行时最佳层间通信和计算重叠，从而实现了所有情况下的最优层级调度，而模型准确性保持不变。

    Jan, 2021

  • CO2：高效分布式训练与完全通信 - 计算重叠

    基于限制带宽的集群，我们提出了一种名为 CO2 的新方法，通过引入局部更新和异步通信实现分布式数据并行训练的完全重叠，从而实现大规模训练的高可扩展性。我们还提出了降低收敛性和训练稳定性的过时惩罚和外部动能裁剪技术。通过大量实验验证了 CO2 在计算机视觉和自然语言处理领域的各种任务上的收敛性、泛化性和可伸缩性，无论是在具有 800Gbps RDMA 还是 80Gbps TCP/IP 的集群中，CO2 都表现出卓越的能力来大幅提高可扩展性。

    Jan, 2024