关键词decentralized stochastic gradient descent
搜索结果 - 7
- 无线网络上的分布式学习中基于广播的子图采样：更快的收敛速度，更少的通信
本研究提出了一种名为 BASS 的基于广播的子图采样方法，用于加快分散式随机梯度下降的收敛速度，并考虑每次迭代的实际通信成本。BASS 通过创建一组混合矩阵候选集，表示基本拓扑图的稀疏子图，实现了一种在共识迭代中的采样决策，激活多个无冲突的 - ICML去中心化 SGD 和平均方向 SAM 在渐近情况下等价
本文挑战了常规信念，提出了一种完全新的角度来理解分散学习，证明了分散随机梯度下降隐含地最小化了一种平均方向锐度感知最小化算法的损失函数，在常规非凸非 $/beta/$ - 平滑设置下的这种惊人的渐近等价关系揭示了一种本质上的正则化 - 优化 - 分散式 SGD 算法的稳定性和泛化分析改进
本文提出 Decentralized Stochastic Gradient Descent 算法的泛化误差分析，并据此证明在凸设置下，不论选择哪种通信图，D-SGD 算法的泛化界限与经典 SGD 算法相同，即前人论述的通信图对泛化的不利影 - DSGD-CECA：带通信最优确切一致性算法的分散式随机梯度下降
该论文提出了一种去除了分布式训练中代理数受 2 的整数限制的方法，称为 DSGD-CECA，它使用交流拓扑和八卦权矩阵来实现通信，达到了与当前最先进方法相同的效率，实现了任意数量的代理，并减少了每次迭代的通信负载。
- ICML拓扑感知的去中心化 SGD 的泛化
研究了分散随机梯度下降（D-SGD）算法的算法稳定性和分布特性，证明了 D-SGD 认为的共识模型具有稳定性，证明了 D-SGD 具有一般化的可行性。D-SGD 的可行性与谱间隙呈正相关，并且可以解释为什么最初的培训阶段的共识控制可以确保更 - 基于空中计算的分布式随机梯度下降
研究将分布式随机梯度下降算法应用于无线网络中的性能表现，探讨对传输干扰和噪声等方面进行优化的方法，选用 OAC-MAC 算法来实施无线计算，并将调度问题转化为图着色问题，并通过 MNIST 图像分类任务的实验来验证方法的可行性和有效性。
- 基于无线 D2D 网络的分散联邦学习
本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式，使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练，通过适应路径损耗、衰落、阻挡和干扰等因素的技术，在物理层上利用