May, 2023

超越指数图：通过有限时间收敛的通信高效拓扑结构进行分散式学习

PDF
TL;DR本研究提出了一种名为 Base-k Graph 的新型拓扑结构，该结构在实现快速共识率的同时，最大度数较小，从而提高了分布式学习的收敛速度和通信效率。实验表明，采用 Base-k Graph 可以比现有拓扑结构更好地提高分布式学习的精度和通信效率。
decentralized learningconsensus ratemaximum degreebase-k graphcommunication efficiency
发现论文，激发创造
  • 分布式深度训练中指数图的可证明高效性

    研究了分布式随机梯度下降算法的新方法：使用指数图作为通信拓扑，以实现高效的精确平均和较少的通信成本，进而提高训练速度和质量。

    Oct, 2021

  • 超越谱隙：拓扑在分散式学习中的作用

    研究了具有罕见连接的分布式机器学习优化问题，提出了理论解释，解释了合作可以获得比训练单独更大的学习率，并描述了不同图形拓扑的相对优点。

    Jun, 2022

  • 扩展器图与通信高效的分散式优化

    本文讨论如何设计图形拓扑结构，以减少分散式优化算法的通信复杂度，发现扩展图形是最优选择之一，并提出三种方法以构建不同节点数和节点度数的扩展图形，数值结果显示分散式优化在扩展图形上的性能显著优于其他定期图形。

    Dec, 2016

  • 具有动态拓扑和本地更新的去中心化 SGD 的统一理论

    这篇论文介绍了一种统一的收敛性分析方法，涵盖了许多分散式随机梯度下降方法，具有计算成本低、数据本地性和沟通效率等优点，并包括本地随机梯度下降更新和自适应网络拓扑上的同步和成对传递更新，我们推导了光滑（凸和非凸）问题的通用收敛率，并在不同的数据分布和 iid 数据设置下进行了插值。

    Mar, 2020

  • 基于广播的子图采样的无线网络分布式学习

    该研究探讨了分布式学习在无线网络中的通信方面，使用基于共识的分布式随机梯度下降法（D-SGD）。为了实现算法的快速收敛性，我们提出了一种名为 BASS 的高效通信框架，其中利用广播传输和概率子图抽样，在每次迭代中激活多个无干扰节点的子集将模型更新广播给它们的邻居。与现有的基于链路调度方法相比，在无线信道的广播特性下，利用相同数量的传输时间槽创建更多的通信链路能够加快分布式学习的收敛速度。

    Oct, 2023

  • 分布式梯度方法：拓扑结构是否重要？

    该论文研究了分布式优化方法中工作通讯拓扑对收敛速度的影响，并提出通过使用稀疏拓扑来提高收敛速度的方法。

    Feb, 2020

  • 无线网络上的分布式学习中基于广播的子图采样：更快的收敛速度，更少的通信

    本研究提出了一种名为 BASS 的基于广播的子图采样方法，用于加快分散式随机梯度下降的收敛速度，并考虑每次迭代的实际通信成本。BASS 通过创建一组混合矩阵候选集，表示基本拓扑图的稀疏子图，实现了一种在共识迭代中的采样决策，激活多个无冲突的节点子集。与现有的基于链路的调度方法相比，BASS 在较少的传输时隙内实现了更快的收敛。总结起来，无线信道的广播特性在加速分散式优化和学习的收敛过程中具有固有优势。

    Jan, 2024

  • 基于图稀疏化的高能效分散式学习

    通过优化混合矩阵，改进分散式学习的能源效率，该研究将问题建模为双层优化，其中底层通过图稀疏化求解，针对全连接基底拓扑提出了一种拥有保证性能的解决方案，针对一般情况提出了一种贪心启发式方法，并通过基于真实拓扑和数据集的模拟验证，结果表明该方案可以在保持训练模型质量的前提下，将最繁忙节点的能耗降低 54%-76%。

    Jan, 2024

  • rTop-k：分布式 SGD 的统计估计方法

    本文提出一种基于统计估计模型的分布式机器学习通信优化方案，将梯度稀疏化技术与随机梯度业务结合，实现了通信效率与模型性能的均衡优化。

    May, 2020

  • DSGD-CECA：带通信最优确切一致性算法的分散式随机梯度下降

    该论文提出了一种去除了分布式训练中代理数受 2 的整数限制的方法，称为 DSGD-CECA，它使用交流拓扑和八卦权矩阵来实现通信，达到了与当前最先进方法相同的效率，实现了任意数量的代理，并减少了每次迭代的通信负载。

    Jun, 2023