Feb, 2019

利用网络内聚合扩展分布式机器学习

PDF
TL;DRSwitchML 是一种通信基元，通过使用可编程交换机数据平面执行培训过程的关键步骤，从而将来自多个网络工作人员的模型更新聚合，与终端主机协议和 ML 框架共同设计以提供高效解决方案，最多可将培训速度加速 5.5 倍。
parallel trainingmachine learningswitchmlcommunication primitivemodel updates
发现论文，激发创造
  • 网络内聚合的数据平面高效内存调度

    本文介绍 ESA 算法，一个用于优化 In-Network Aggregation 过程中交换机中有限的内存管理，通过增加数据优先级调度和引入抢先式密集聚合器，可以提高交换机存储器利用率和平均作业完成时间（JCT），并可以将平均 JCT 提高至 1.35 倍。

    Jan, 2022

  • 分布式机器学习调查

    本文介绍机器学习技术的发展以及为了应对更加复杂的应用而需要分布式系统来分担机器学习的工作负担，但分布式系统带来的挑战在于高效地并行训练过程和创建一个连贯的模型。文中提供了分布式机器学习领域当前的最新进展和系统概述。

    Dec, 2019

  • MAD Max 超越单节点：在分布式系统上加速大规模机器学习模型

    基于真实世界的大规模模型训练和数据中心规模基础设施，我们展示了 14~32% 的 GPU 时间用于非重叠计算的通信。为了最小化未完成的通信延迟，在这项工作中，我们开发了一个灵活的性能建模框架来指导并行化和硬件软件共同设计策略。通过使用现代 GPU 训练硬件上的真实大规模 ML 模型套件，我们分别展示了预训练和推理场景的 2.24 倍和 5.27 倍的吞吐量提升潜力。

    Oct, 2023

  • 云、移动和边缘环境中的分布式学习综述

    在深度学习、卷积神经网络和大型语言模型的时代，机器学习模型变得越来越复杂，需要大量的计算资源进行推理和训练。为了解决这个挑战，分布式学习已经成为一种关键方法，通过在各种设备和环境中进行并行化来实现。本调查研究对分布式学习的领域进行了探索，涵盖了云端和边缘设置。我们深入研究了数据和模型并行性的核心概念，研究了如何在不同维度和层次上对模型进行分割以优化资源利用和性能。我们分析了针对不同层类型的各种分割方案，包括全连接层、卷积层和循环层，突出了计算效率、通信开销和内存限制之间的权衡。这项调查研究通过比较和对比不同背景下的分布式学习方法，为未来的研究和发展提供了宝贵的见解。

    May, 2024

  • Mesh-TensorFlow：用于超级计算机的深度学习

    本文介绍了 Mesh-TensorFlow，一种用于实现一般分布式张量计算的语言，以代替传统的数据并行策略，从而支持更大的模型训练和更高的效率。通过应用 Mesh-TensorFlow 实现了一个数据并行、模型并行的 Transformer 模型，最终在 WMT'14 英法翻译任务和亿级语言建模基准测试上实现了最优性能。

    Nov, 2018

  • 规模安全分布式训练

    本文提出了一种新颖的协议，用于安全的（拜占庭容错）分散式训练，强调通信效率。

    Jun, 2021

  • 基于多 GPU 平台的模型并行的高效稳健的 DNN 训练

    该论文提出了一种基于 SpecTrain 的管道模型并行执行方法，可以在保持训练准确性的前提下，实现高 GPU 利用率，相比数据并行法可提高 8.91 倍的速度。

    Sep, 2018

  • 大型语言模型预训练的高效参数搜索和并行性扩展研究

    研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

    Oct, 2023

  • 使用模型平均法并行训练深度神经网络的实验

    本研究针对深度神经网络（DNN）的并行训练使用模型平均方法。多 GPU 数据并行化，MPI 进行节点间通信，每隔几个 minibatches 进行模型平均。针对不同的学习速度、平均频率和 minibatch 尺寸探索最佳设置，研究发现 “NG-SGD” 和 “RBM” 预训练有利于基于参数平均的模型训练，可以实现 9.3 倍和 17 倍的加速，只有少量解码精度的损失。

    Jul, 2015

  • 可靠分布式压缩机器学习模型训练

    提出了 DepL 框架，用于可靠的学习编排，能够在最小的培训成本下以目标概率达到目标学习质量，优于现有技术 27% 以上，并与最佳结果相近。

    Feb, 2024