distributed deep learning | BriefGPT

关键词distributed deep learning

搜索结果 - 34

具有误差反馈的量化 Adam
本文提出一种分布式变体的自适应随机梯度方法用于训练深度神经网络，并通过梯度量化和权重量化等量化方案以及误差反馈技术来降低通信成本和量化误差，实现在随机非凸的场景下达到一阶稳定点，该方法在深度神经网络训练中取得了良好实验结果。
PDF4 years ago
MM使用部分集体操作平衡深度学习中不平衡的训练工作负载
本文提出了一种基于分布式深度学习的负载平衡问题的解决方法 ——eager-SGD，并使用两个部分集合（solo 和 majority）来实现其分散的梯度累积，理论上证明了算法的收敛性，实验证明在负载不均衡的环境下，它比同步 SGD 获得了
PDF5 years ago
一种高效的分布式深度学习系统用于自动语音识别
通过异步分布式 SGD 训练 ADPSGD 算法实现自动语音识别（ASR）系统可处理更大的 batch size，进而大规模训练 SWB-2000 数据集，提高了模型准确率并刷新了文献报道以往最快的 ASR 训练系统。
PDF5 years ago
Astraea：针对移动端深度学习应用分类精度的自平衡联邦学习
介绍一种名为 Astraea 的自平衡联邦学习框架，它通过全局数据分布的数据增强和基于 KLD 的中介调度来缓解不平衡问题，相比于现有算法 FedAvg，在不平衡的 EMNIST 和 CINIC-10 数据集上分别提高了 5.59% 和 5
PDF5 years ago
动态小批量随机梯度下降算法用于弹性分布式训练：在资源极限中的学习
通过动态调度不同的分布式深度学习任务，以最大化资源利用和减少成本，得到我们的 Elastic Distributed Training. 我们提出了一种名为 Dynamic SGD 的方法，可以通过平滑调整学习率来缓解噪声动量估计的影响，在
PDF5 years ago
又一种加速的 SGD: 在 ImageNet 上以 74.7 秒的速度训练 ResNet-50
通过优化方法，我们使用 ABCI 集群上的 2048 个 GPU，在 74.7 秒内实现了高达 1.73 百万张图像 / 秒的训练吞吐量和 75.08％的 top-1 验证准确性，解决了分布式深度学习中大规模集群高伸缩性和高准确性的挑战。
PDF5 years ago
无窥视：私有分布式深度学习综述
本文研究了分布式深度学习的多种方法，以保护数据的机密性，同时还允许服务器训练模型。在神经网络的背景下，比较了联邦学习，分离式学习和大批量随机梯度下降等多种方法，以及差分隐私、同态加密、遗忘传输和混淆电路等安全方法，讨论了它们在计算资源、数据
PDF6 years ago
面向健康的分裂学习：分布式深度学习，无需共享原始患者数据
本文提出了一个分布式深度学习方法（SplitNN），解决了不同卫生机构之间在不共享原始数据的情况下，如何协同训练深度学习模型的问题。我们提出的 SplitNN 配置适用于不同的实践设置，包括拥有不同患者数据模态的机构、多个卫生机构合作的集中
PDF6 years ago
闪电般的 ImageNet/ResNet-50 训练：大规模分布式 SGD
使用批次大小控制和标签平滑来解决大批次训练不稳定性问题；使用 2D-Torus all-reduce 解决梯度同步过程中的开销，实现了在 ABC 集群上在 122 秒内训练 ImageNet/ResNet-50 且精度损失不显著的分布式深度
PDF6 years ago
深度学习并行和分布式技术揭秘：并发性分析深入研究
本文综述了 Deep Neural Networks 的并行处理问题，探讨了并行化分布式架构，并详细介绍了并发类型、异步随机优化、通信方案、神经架构搜索等不同方向的研究方法，最终提出了深度学习并行处理的潜在方向。
PDF6 years ago
GPU 上的分布式深度学习框架性能建模与评估
本研究通过评估四种最先进的分布式深度学习框架（即 Caffe-MPI，CNTK，MXNet 和 TensorFlow）在单 GPU、多 GPU 和多节点环境中的运行性能，基于 SGD 训练三种流行的卷积神经网络（即 AlexNet，Goog
PDF7 years ago
PowerAI DDL
本论文介绍了一款软硬协同优化的分布式深度学习系统，通过使用多环通信模式和 GPU 的大规模并行计算等技术大幅度缩短了深度神经网络的训练时间，并在 Resnet-101 上取得了 33.8% 的验证精度，系统已被集成到 Tensorflow、
PDF7 years ago
固定拓扑网络中的协作深度学习
本研究提出一种基于共识的分布式 SGD 算法，并使用 Lyapunov 方法分析其强凸和非凸目标函数的收敛性，能够支持数据并行和去中心化计算，适用于具有通信限制的本地数据的学习代理，实验表明该算法在 MNIST、CIFAR-10 和 CIF
PDF7 years ago
MM分布式深度 Q-Learning
我们提出了一种分布式深度学习模型来直接从高维感知输入中学习控制策略，使用强化学习来评估未来奖励，并通过对 DistBelief 软件框架的适应来分布式地训练，实现了异步和扩展性。
PDF9 years ago