BriefGPT.xyz
Ask
alpha
关键词
staleness
搜索结果 - 4
带有延迟的分布式随机梯度下降：基于随机延迟微分方程的框架
基于随机时滞微分方程（SDDE）和概率到达梯度泊松近似，提出了统一框架来分析和优化异步分布式随机梯度下降（ASGD）的收敛性，揭示了 ASGD 的阻尼系数、延迟统计特性和收敛条件，以及调度策略的优化。同时表明增加激活的工作人员数量并不一定加
→
PDF
19 days ago
FedStaleWeight: 缓冲同步异步联邦学习中基于延迟重加权的公平聚合
FedStaleWeight 算法通过使用平均陈旧度来计算公平重新权重从而解决了异步客户端更新聚合中的公平性问题，并且在流畅的非凸环境中提供了理论收敛保证，与常用的异步 FedBuff 梯度平均方法相比，实验证明它在加强公平性、加速收敛到更
→
PDF
a month ago
个性化异步联合学习
在异步更新的条件下，我们研究了个性化联邦学习问题。我们考虑了两种基于优化的个性化框架，并通过去除同步通信的假设和扩展函数类来提高其可扩展性。我们的主要技术贡献是确定性地证明，对于平稳和非凸函数类，我们的方法可以收敛到一阶稳定点，同时实验证明
→
PDF
2 years ago
分布式机器学习中滞后性的影响研究
本文探讨延迟更新对各种机器学习模型和算法收敛行为的影响，并针对非凸优化中随机梯度下降算法的收敛分析，匹配最佳已知收敛率。
PDF
6 years ago
Prev
Next