communication optimization | BriefGPT

关键词communication optimization

搜索结果 - 11

Ents: 决策树的高效三方训练框架通过通信优化
在这篇论文中，我们提出了一种名为 Ents 的高效三方训练框架，通过通信优化来训练决策树。通过基于安全基数排序协议的一系列训练协议，我们解决了使用连续属性安全拆分数据集时的通信开销问题。我们还提出了一种高效的份额转换协议，将份额在小环和大环
PDF22 days ago
加速混合专家模型的快速连通专家并行
提出了一种名为 ScMoE 的新型快捷连接的 MoE 架构，通过重叠并行策略有效地将通信与传统序列解耦，与普遍的前 2 名 MoE 架构相比，在 PCIe 和 NVLink 硬件环境中显示出 30% 和 11% 的训练速度提升，并且在推断方
PDF3 months ago
DiPaCo: 分布式路径组合
通过共享模块的路径分布计算，结合降低通信的优化算法，在机器学习领域提出了一种模块化架构和训练方法，称为 DIstributed PAth COmposition (DiPaCo)，该方法在训练过程中实现对集群中性能差异较大且网络质量较差的机
PDF4 months ago
分布式训练的通信优化：架构、进展和机遇
大规模深度神经网络的分布式训练通信优化的研究，提出了一个五层范式，强调协同设计的机会。
PDF4 months ago
异步张量并行通信最小化
本研究提出 Tensor3D 算法来高效地训练具有数十亿参数的神经网络，能够最小化通信引起的空闲时间，通过智能神经网络参数分布、并行训练过程的超分解以及通信模型，优化通信，相较于 Megatron-LM，Tensor3D 将 28B 参数
PDFa year ago
FedLP：面向通信计算效率的层次剪枝联邦学习机制
本文介绍一种针对分布式学习中计算和通信优化的显式 FL 剪枝框架 (FedLP)，采用层次剪枝在本地训练和协作更新中，两种特定方案的实验验证表明 FedLP 可以减轻通信和计算瓶颈并具有良好的性能。FedLP 是将层次剪枝正式引入 FL 的
PDFa year ago
一种新颖的张量专家混合并行方法用于规模化专家混合训练
本文提出一种新的混合专家神经网络架构（MoE），并采用三维混合并行算法，结合张量、专家和数据并行，进行内存和通信优化，极大地提高了 MoE 模型的训练效率和精度。
PDFa year ago
分层联邦学习中的时间最小化
本文提出了一种层次化联邦学习系统，结合联邦学习中的通信优化问题，通过优化本地迭代计数和边缘迭代计数，减少模型参数通信和计算延迟，并提出一种时限最小化的 UE-to-edge 关联算法。仿真结果表明，最优的边缘服务器和本地迭代计数可以使全局模
PDF2 years ago
图神经网络训练中的通信减少
本文介绍了一系列用于训练图神经网络的并行算法，可以通过优化通信来减少稀疏矩阵训练的通信成本，对于多个数据集上的测试结果表明其有效性。
PDF4 years ago
优化 GPU 集群上分布式 DNN 训练的网络性能：1.5 分钟内完成 ImageNet/AlexNet 训练
本论文提出了一种名为 GradientFlow 的通信后端，通过一系列网络优化技术来优化深度神经网络（DNN）的分布式训练，包括环形全局归约、混合精度训练、循环计算 / 通信和懒惰全局归约等，实现了超过 410 倍的训练速度加速比和 1.5
PDF5 years ago
MG-WFBP: 分布式同步 SGD 算法的高效数据通信
本文提出了 MG-WFBP 算法以解决深度神经网络的分布式训练中通信问题，实验表明该算法可以比现有方法实现更好的扩展效率。
PDF6 years ago