BriefGPT.xyz
大模型
Ask
alpha
关键词
communication frequency
搜索结果 - 2
复合异构数据联邦学习
我们提出了一种新算法来解决复合联合学习问题,该算法通过策略性地分离近端算子和通信来管理非光滑正则化,并且在没有关于数据相似性的任何假设的情况下解决客户端漂移。此外,每个工作者使用局部更新来降低与服务器的通信频率,并每次通信轮传输仅一个 d
→
PDF
10 months ago
ICLR
本地 SGD 收敛快且通信量小
本论文证明了局部随机梯度下降算法在凸问题上能够以与小批量随机梯度下降算法相同的速率收敛,并且与工人数量和小批量大小呈线性加速关系,其中通信轮数可以减少长达 T ^ {1/2} 个因子。
PDF
6 years ago
Prev
Next