在现代 DNN 模型不断增大的同时，加速器之间的集体通信（allreduce 等）成为一个重要的性能瓶颈。在今天高度多样化和异构的网络结构下，设计高效的通信调度是具有挑战性的。本文提出了 ForestColl，一种为任何网络拓扑生成高效调度的工具。ForestColl 构建广播 / 聚合的生成树作为通信调度，实现了理论上的最小网络拥塞。其调度生成在强多项式时间内运行，并具有高度可扩展性。在多集群 AMD MI250 和 NVIDIA A100 平台上评估了 ForestColl。与供应商自己优化的通信库 RCCL 和 NCCL 相比，ForestColl 的调度性能提高了多达 52％。ForestColl 还在生成调度效率上超过其他最先进的调度生成技术，生成的调度更加高效，在调度生成速度上有数量级的提升。

Feb, 2024

本研究提出了一种名为 Linear Pipelining（LP）的新型集合操作技术，用于在神经网络的并行训练中降低通信成本。 对 BSP-SGD 等现有方法进行了改进，并在实践中证明该方法降低了通信瓶颈，同时保持 BSP-SGD 吸引人的收敛属性。

Nov, 2016

运用稀疏输入数据设计通信协议，使得机器学习与 MPI 协议衔接，从而实现高可扩展性。

Feb, 2018

这篇文章调查了 2018 年至 2023 年期间关于算法和技术的文献，旨在实现大规模分布式深度学习中的高效通信，包括算法、框架和基础设施。具体而言，我们首先介绍了在大规模分布式训练中模型同步和通信数据压缩方面的高效算法。接下来，我们介绍了与分布式训练和推理中资源分配和任务调度相关的高效策略。此后，我们介绍了现代通信基础设施中使用的最新技术，重点研究了大规模和异构环境下通信开销的影响。最后，我们通过对大规模语言模型的分布式训练进行案例研究，展示了如何在实际情况中应用这些技术。这篇文章旨在为研究人员提供对大规模分布式深度学习的现状全面的理解，并揭示在这一领域中通信高效解决方案的有希望的未来研究方向。

Apr, 2024

本文提出了基于多项式权重更新的两方协议，并且展示了一般的算法设计方法来解决在分布式数据中的高效学习问题。

Apr, 2012

Blink 是一种集合通信库，它通过打包生成生成最佳通讯原语的生成树来解决 GPU 上的参数同步问题，而且还可以利用异构通信通道实现更快的数据传输，从而优化数据并行训练，提高图像分类任务的效率。

Oct, 2019

本文介绍了三种通信量减少技术，目标是针对 ZeRO 中的每个通信集合，共同提高 ZeRO ++ 的有效吞吐量，减少 ZeRO 的通信量，并允许在 384 个 GPU 规模下提高最多 2.16 倍的吞吐量。

Jun, 2023

近期趋势如物联网（IoT）表明了在几乎所有类型的环境中进行计算设备的密集和多尺度部署的愿景。一个重要的工程挑战是编程这些计算生态系统的集体自适应行为。本文提出了分布式集体过程的抽象概念，并在两个案例研究中使用多跳消息传播和分布式空间属性监测对其进行了验证，讨论了该抽象的特点及其适用性。

Jan, 2024

本文提出了一种新的分布式训练线性分类器的方法，旨在减少通信成本，在迭代期间每个节点最小化局部形成的近似目标函数，然后合并得到下降方向移动，该方法可以看作是迭代参数混合法。

Oct, 2013

本文提出了一种强多项式时间算法，可以在任何网络拓扑上生成带宽优化的全局 / 归约散播，算法构建了流水线调度，实现了在给定网络拓扑上最佳的带宽性能。

May, 2023