communication bottleneck | BriefGPT

关键词communication bottleneck

搜索结果 - 12

基于联邦动态平均的高效通信分布式深度学习
由于数据的不断增长和去中心化特性，以及现代模型的不断增大，分布式深度学习 (Distributed Deep Learning, DDL) 已成为首选的训练范式。本文提出了一种名为联邦动态平均 (Federated Dynamic Aver
PDFa month ago
FedSR: 面向 IoT 系统中的非独立同分布的半分散式联邦学习算法
在工业物联网中，由于隐私和安全问题，很难将大量数据集中到一起训练深度学习模型，因此联邦学习，一种保护数据隐私的分布式机器学习范式，在物联网中得到广泛应用。然而，在实际的联邦学习中，数据分布通常在设备之间存在较大差异，数据的异构性将对模型的性
PDF3 months ago
分布式 SGD 的截断非均匀量化
为了解决分布式学习中的通信瓶颈挑战，本研究引入了一种新的两阶段量化策略，旨在增强分布式随机梯度下降（SGD）的通信效率。通过截断来减轻长尾噪声的影响，随后根据梯度的统计特征进行非均匀量化。我们为量化的分布式 SGD 提供了全面的收敛性分析，
PDF5 months ago
机器学习的分布式优化中的最佳数据分割
通过使用本地数据相似性算法，本研究考虑了通信成本和本地计算开销之间的关系，并旨在实现服务器和本地计算机之间分布式数据的最佳比例，通过与均匀分布相比较，实验证明了我们解决方案的优越理论性能。
PDF6 months ago
我们能学习高效通信优化器吗？
通过学习优化器的方法，本研究证明了学习优化器在保持通信高效性的同时，能够明显优于本地 SGD 及其衍生变体，甚至在未见过的更大规模数据集、架构（如 ImageNet 和 ViTs）以及语言模型等方面具有推广性，从而展示了学习优化器改进通信高
PDF7 months ago
LASER: 线性压缩在无线分布式优化中的应用
在分布式优化中，数据并行 SGD 是事实上的算法，但是通信瓶颈是一个持久性问题。本文介绍了 LASER 算法，它利用梯度的低秩结构，在噪声通道上高效传输，并在实际任务中相比基准表现更好。
PDF8 months ago
具有概率邻域扩展分析和缓存的通信高效图神经网络
本文提出了一种在分布式设置下使用节点采样的图神经网络的小批量训练与推断的方案，通过分析多跳邻域采样时的节点包含概率（VIP），提出基于 VIP 驱动的缓存策略，显著减少通信量，保持本地训练效率和可扩展性，并在常用节点特征上用 GPU 存储。
PDFa year ago
网络内聚合的数据平面高效内存调度
本文介绍 ESA 算法，一个用于优化 In-Network Aggregation 过程中交换机中有限的内存管理，通过增加数据优先级调度和引入抢先式密集聚合器，可以提高交换机存储器利用率和平均作业完成时间（JCT），并可以将平均 JCT 提
PDF2 years ago
FedAT: 一种高性能、通信效率高的异步分层联邦学习系统
本文提出了一种名为 FedAT 的新颖联邦学习方法，它通过异步分层训练和同步内部层训练的协同作用来减小杂散因素的影响，同时使用加权聚合启发式和基于折线编码的压缩算法，提高了收敛速度和预测性能，并最大程度地减小了通信成本。
PDF4 years ago
CSER: 带错误重置的通信有效 SGD
CSER 算法结合高压缩率技术，引入了误差重设和梯度以及模型的部分同步，可将 CIFAR-100 的分布式训练加速近 10 倍，ImageNet 加速 4.5 倍。
PDF4 years ago
FetchSGD: 基于草图技术的高效通信联邦学习算法
本文介绍了一种名为 FetchSGD 的算法，该算法通过使用 Count Sketch 压缩模型更新，并利用 Sketch 合并性从众多工作者中组合模型更新来克服联合学习中的通信瓶颈和因稀疏客户参与而导致的收敛问题。我们证明了 FetchS
PDF4 years ago
PowerSGD: 分布式优化中的实用低秩梯度压缩
本文研究了梯度压缩方法以缓解数据并行分布式优化中的通信瓶颈，提出了一种基于幂迭代的新型低秩梯度压缩器，在快速压缩梯度、高效聚合压缩梯度并且在测试性能上与随机梯度下降（SGD）相当的情况下实现了持续的加速，该算法是唯一评估的方法，与具有优化的
PDF5 years ago