communication topology | BriefGPT

关键词communication topology

搜索结果 - 7

当去中心化优化遇上联邦学习
本文系统地研究了分散式学习对于联邦学习的分布式最优化的机遇和挑战。
PDFa year ago
DSGD-CECA：带通信最优确切一致性算法的分散式随机梯度下降
该论文提出了一种去除了分布式训练中代理数受 2 的整数限制的方法，称为 DSGD-CECA，它使用交流拓扑和八卦权矩阵来实现通信，达到了与当前最先进方法相同的效率，实现了任意数量的代理，并减少了每次迭代的通信负载。
PDFa year ago
AC2C: 自适应控制的双跳通信，用于多智能体强化学习
本研究提出了一种名为 AC2C 的自适应双跳通信协议，以应对多智能体对等协作中限制通信范围和动态通信拓扑的实际通信模型，实验结果表明，AC2C 可以在降低通信成本的同时提升多智能体协作效率。
PDFa year ago
去中心化深度学习的本地异步随机梯度下降
本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。
PDF2 years ago
分布式深度训练中指数图的可证明高效性
研究了分布式随机梯度下降算法的新方法：使用指数图作为通信拓扑，以实现高效的精确平均和较少的通信成本，进而提高训练速度和质量。
PDF3 years ago
使用动量加速共识的去中心化深度学习
本文研究了分布式数据集下的分布式深度学习中的通信拓扑问题，提出一个基于梯度优化的 Heavy-ball 加速策略和共识协议的无中心化方法，并理论和经验上证明，在各种通信拓扑下都取得了更好的效果。
PDF4 years ago
图卷积网络分布式训练
本文提出了一种分布式算法框架来训练图卷积网络，利用了输入数据的有意义的关系结构，并在不同代理之间分割数据图表达的优化通信拓扑结构，提出了一种分布式梯度下降算法来解决 GCN 训练问题，并建立了一套评价通信拓扑的优化准则。
PDF4 years ago