Apr, 2020

数据并行训练中的跨副本权重更新分片自动化

PDF
TL;DR该研究提出一种自动切分权重计算的方法，避免了权重变量维度不可切分而导致的性能和可扩展性问题。研究表明，这种技术在典型的图片和语言模型上都能显著提高性能，并帮助我们在 Google 的 MLPerf 0.6 竞赛中获得了表现最好的结果。
发现论文，激发创造
  • GShard：通过条件计算和自动分片扩展巨型模型

    利用 GShard 能够高效地扩展神经网络规模，支持多语言机器翻译，使得能够在 4 天内用 TPU v3 加速器训练 600 亿参数的模型，并且在从 100 种语言翻译成英语方面的性能要明显优于之前的工作。

    Jun, 2020

  • 天空计算：加速联邦学习中的地理分布式计算

    本文提出了一种基于负载均衡的模型并行度框架 Sky Computing，以根据设备的计算能力来分配模型权重，与传统方法相比，Sky Computing 在训练 160 层 BERT 时的训练时间快了 55％。

    Feb, 2022

  • 深度部分更新：用于设备端推理的通信高效更新

    本文提出了一种新的权重部分更新方法，通过分析损失差异上限来智能选择每个服务器与远程边缘节点通信轮次中要更新的少量权重，从而实现与完全更新相似的性能，可应用于新兴的边缘智能应用。实验结果表明，在更新数量较少的情况下实现了高的推理准确性。

    Jul, 2020

  • 通过人工合成的中间标签进行分区神经网络训练

    通过将模型划分到多个 GPU 上并生成合成中间标签来训练各个部分，以减少数据通信和保持模型准确性为目标，该研究证实了该方法在减少内存和计算需求的同时实现了类似传统训练方法的测试准确性，从而减轻了训练大型神经网络的资源密集性，为更高效的深度学习模型开发铺平了道路。

    Mar, 2024

  • AutoShard: 推荐系统的自动嵌入表切片

    介绍了 Meta 中的 AutoShard，使用神经代价模型直接预测多表代价，并利用深度强化学习解决分区问题的新实践，其有效性，可转移性和效率使其适用于生产使用。

    Aug, 2022

  • Ravnest：异构设备上的去中心化异步训练

    该论文提出了一种异步分布式训练方法，利用互联网连接的具有有限资源的普通异构个人电脑的计算能力，在大型现代深度学习模型上取得了良好的性能指标，通过将计算节点高效地组织成具有相似数据传输速度和计算能力的集群，避免了每个节点承载整个模型，并采用并行多环全局参数平均方法实现全局参数平均。同时，论文在异步 SGD 损失函数上进行了解析，推导出了收敛速度的最优复杂度以及参与集群数量的线性加速和时滞参数的界.

    Jan, 2024

  • 利用网络内聚合扩展分布式机器学习

    SwitchML 是一种通信基元，通过使用可编程交换机数据平面执行培训过程的关键步骤，从而将来自多个网络工作人员的模型更新聚合，与终端主机协议和 ML 框架共同设计以提供高效解决方案，最多可将培训速度加速 5.5 倍。

    Feb, 2019

  • 分布式深度学习的扩展方法

    该研究比较了同步和异步随机梯度下降的收敛性，针对 ImageNet 分类问题的训练，在 32 个节点以下异步 SGD 包括弹性平均和 gossiping 能更快收敛，而同步 SGD 在 100 个节点以下能更好地扩展。

    Nov, 2016

  • 基于多 GPU 平台的模型并行的高效稳健的 DNN 训练

    该论文提出了一种基于 SpecTrain 的管道模型并行执行方法，可以在保持训练准确性的前提下，实现高 GPU 利用率，相比数据并行法可提高 8.91 倍的速度。

    Sep, 2018

  • 使用模型平均法并行训练深度神经网络的实验

    本研究针对深度神经网络（DNN）的并行训练使用模型平均方法。多 GPU 数据并行化，MPI 进行节点间通信，每隔几个 minibatches 进行模型平均。针对不同的学习速度、平均频率和 minibatch 尺寸探索最佳设置，研究发现 “NG-SGD” 和 “RBM” 预训练有利于基于参数平均的模型训练，可以实现 9.3 倍和 17 倍的加速，只有少量解码精度的损失。

    Jul, 2015