data parallelism | BriefGPT

关键词data parallelism

搜索结果 - 13

并行随机梯度下降的混合方法
我们提出了一种介于同步和异步方法之间的混合数据并行性方法，使用这两种方法训练神经网络，通过适当选择阈值函数来逐渐从异步转为同步的参数聚合，我们证明在一定时间范围内，我们的混合方法优于异步和同步方法。
PDF9 days ago
分布式深度学习的二次同步规则
使用分布式深度学习和数据并行 ism 方法，通过提出基于理论的使用二次同步规则（QSR）来动态确定本地梯度方法中的一个超参数 H 的值，以提高泛化性能。在 ImageNet 上的实验结果表明，使用 QSR 能够持续改善测试准确性，并且相比标
PDF8 months ago
广度优先流水线并行
引入 Breadth-First Pipeline Parallelism，这是一种结合了 pipeline 和 data parallelism 的新型训练策略，通过充分利用 GPU 和每个 GPU 上的小 batch size 的特性，
PDF2 years ago
使用 Megatron-LM 在 GPU 集群上高效训练大规模语言模型
本论文提出了一种新的并行计算方法（并行、管道、数据并行），并探讨了不同并行计算方法之间的权衡取舍，可使模型达到拥有万亿参数的级别，提高了 10％的吞吐量，是现有方法的可比内存占用率。在 3072 个 GPU 上完成了 1 万亿参数模型的训练
PDF3 years ago
PipeTransformer: 基于自动化弹性管道的 Transformers 分布式训练
本研究提出了 PipeTransformer 来提高 Transformer 模型的多节点分布式训练效率，该方法通过自动化管线处理和数据并行来动态调整管线和并行策略，从而实现层的冻结和资源分配，结果表明 PipeTransformer 相较
PDF3 years ago
ICLR数据并行和稀疏性对神经网络训练的影响理解
该论文研究了神经网络训练中的数据并行和稀疏性等因素及其对训练的影响，发现批次大小与训练次数之间存在一种普遍的缩放趋势，并通过理论分析阐明了这种现象，为神经网络训练提供了更好的解释。
PDF4 years ago
序列到序列递归神经网络机器翻译的混合数据 - 模型并行训练
本文提出了一种混合数据模型并行方法用于 Seq2Seq 循环神经网络机器翻译，将模型并行方法应用于 Seq2Seq 模型的 RNN 编码器 - 解码器部分和数据并行方法应用于模型的注意力 - softmax 部分，使用 4 个 GPU 训练
PDF5 years ago
面向个性化推荐系统的深度学习推荐模型
该论文提供了一个使用 PyTorch 和 Caffe2 框架实现的深度学习推荐模型，该模型使用模型并行处理嵌入层以缓解内存限制，并利用数据并行扩展计算。与现有模型相比，该模型在 Big Basin AI 平台上的表现得到了完善的特性和良好的
PDF5 years ago
基于混合精度的高可扩展深度学习训练系统：四分钟内训练 Imagenet
提出了一个用于 GPU 集群的高度可扩展的深度学习训练系统，其中包括采用混合精度训练的方法、优化极大 mini-batch size 的方法、采用高度优化的全约约算法等，这些方法的使用将深度学习训练的吞吐量和精度取得了很好的平衡。
PDF6 years ago
音乐椅子：基于协作物联网设备的高效实时识别
本文介绍了一种名为 “音乐椅” 的分布式方法，通过数据并行和模型并行解决了物联网中资源受限设备处理实时数据的挑战，并在网络内部收集从输入传感器中获取的计算能力，以实现高效、本地化和动态的实时识别，相比较于 Tegra TX2，该系统不仅达到
PDF6 years ago
一种通用的分布式双坐标优化框架用于正则化损失最小化
本文提出了一个新的分布式双重正则化损失函数最小化问题的方法，可以直接处理数据并行性，并允许系统地导出二次坐标优化过程。通过这个新的公式，我们开发了分布式替代双重最大化（DADM）的加速版本，并提供了理论上的性能分析，发现其性能明显优于以前的
PDF8 years ago
ICLR基于 Theano 的多 GPU 大规模视觉识别
本文介绍了一个基于 Theano 实现的 AlexNet，并实现了数据并行性在多 GPU 上运行。在用 2 个 GPU 运行该模型时，性能相当于 Caffe 库在 1 个 GPU 上运行。这是迄今为止第一个开源的基于 Python 的 Al
PDF10 years ago
GPU 异步随机梯度下降加速神经网络训练
本文介绍了一种新的系统 ——GPU A-SGD，它同时利用了模型并行和数据并行的方法，加快了卷积神经网络的训练速度，从而可以使大型网络在较短时间内训练大型数据集。
PDF11 years ago