Jan, 2024

无线网络上的分布式学习中基于广播的子图采样:更快的收敛速度,更少的通信

TL;DR本研究提出了一种名为 BASS 的基于广播的子图采样方法,用于加快分散式随机梯度下降的收敛速度,并考虑每次迭代的实际通信成本。BASS 通过创建一组混合矩阵候选集,表示基本拓扑图的稀疏子图,实现了一种在共识迭代中的采样决策,激活多个无冲突的节点子集。与现有的基于链路的调度方法相比,BASS 在较少的传输时隙内实现了更快的收敛。总结起来,无线信道的广播特性在加速分散式优化和学习的收敛过程中具有固有优势。