Apr, 2023

TACOS：分布式训练拓扑感知集合算法合成器

PDF
TL;DR本文介绍了 TACOS，一种自动化的拓扑感知集体算法合成器，可应用于任意输入网络拓扑结构，优化了通信效率，加速了 All-Reduce 算法，适用于分布式训练等领域。
collective communicationstopology-aware collective algorithmtacosall-reduce algorithmdistributed training
发现论文，激发创造
  • TicTac: 使用通信调度加速分布式深度学习

    本文提出了一种名为 TicTac 的参数服务器的分布式深度学习系统，通过固定参数的接收顺序，实现了前后网络传输重合的近乎最优状态。在 TensorFlow 上实现的 TicTac 可以提高推理和训练吞吐量最多分别达到 37.7% 和 19.2%，同时减少了 straggler 效应。

    Mar, 2018

  • 分布式梯度方法：拓扑结构是否重要？

    该论文研究了分布式优化方法中工作通讯拓扑对收敛速度的影响，并提出通过使用稀疏拓扑来提高收敛速度的方法。

    Feb, 2020

  • 集体通信的带宽最优流水线调度

    本文提出了一种强多项式时间算法，可以在任何网络拓扑上生成带宽优化的全局 / 归约散播，算法构建了流水线调度，实现了在给定网络拓扑上最佳的带宽性能。

    May, 2023

  • ForestColl：异构网络纺织品上的高效集体通信

    在现代 DNN 模型不断增大的同时，加速器之间的集体通信（allreduce 等）成为一个重要的性能瓶颈。在今天高度多样化和异构的网络结构下，设计高效的通信调度是具有挑战性的。本文提出了 ForestColl，一种为任何网络拓扑生成高效调度的工具。ForestColl 构建广播 / 聚合的生成树作为通信调度，实现了理论上的最小网络拥塞。其调度生成在强多项式时间内运行，并具有高度可扩展性。在多集群 AMD MI250 和 NVIDIA A100 平台上评估了 ForestColl。与供应商自己优化的通信库 RCCL 和 NCCL 相比，ForestColl 的调度性能提高了多达 52％。ForestColl 还在生成调度效率上超过其他最先进的调度生成技术，生成的调度更加高效，在调度生成速度上有数量级的提升。

    Feb, 2024

  • 分布式优化中的网络拓扑和通讯计算权衡

    本文介绍了去中心化优化中最近的研究进展，并概述了针对不同场景的算法和分析，强调了网络拓扑在这些方法中的作用。

    Sep, 2017

  • 一个用于分布式拓扑分析流程的通用软件框架

    这篇论文介绍了一个软件框架，用于在分布式内存模型中支持拓扑分析管道。作者描述了一个通用的、泛化的用于拓扑分析管道的框架，详细介绍了面临的算法和软件工程挑战，并展示了该框架的分布式内存能力以及性能分析结果。

    Oct, 2023

  • 异步训练的分布式拓扑地图

    提出一种基于自主单元、分布式异步训练、电路驱动的权重更新方案以及启发式搜索的算法，使得拓扑特征图的训练在无需中央控制和同步执行的条件下实现，可进行可扩展的大规模数据集处理，同时实验结果表明算法在多个数据集上的分类任务中性能表现稳定。

    Jan, 2023

  • 面向网络优化的雾计算分布式学习

    本文提出了一种网络感知分布式学习优化方法，使设备在成本和效益之间进行数据传输和处理决策，并通过测试数据集证明算法能够显著提高网络资源利用效率，同时不损害模型学习准确性。

    Apr, 2020

  • 灵活通信实现不确定网络下的最优分布式学习

    梯度压缩通过发送更少的值和对应的索引（通常通过 Allgather）来减轻分布式深度学习中昂贵的通信成本。本文提出了一种与 Allreduce 兼容的 Topk 压缩器，在某些网络配置中比 Allgather 表现更好。我们开发了一种灵活的通信策略，根据当前设置中哪个集合操作最优，切换 AG 和 AR 之间的选择，并将并行效率和统计效率的帕累托关系建模为一个多目标优化问题，以动态调整压缩比并加速训练，同时仍收敛于高准确性。

    Dec, 2023

  • 神经模拟退火在高性能计算集群拓扑感知作业分配优化中的应用

    本文研究了窗口式的拓扑感知作业分配问题（TJAP）在 fat-tree 网络上的应用，旨在通过一个定义的干扰度度量标准最小化通信跳数，讨论了两种不同的分配策略，并提出了一种名为神经模拟算法（NSA）的新方法。结果显示，所提算法均有效。

    Feb, 2023