BriefGPT.xyz
Ask
alpha
关键词
low-rank gradient compressor
搜索结果 - 1
PowerSGD: 分布式优化中的实用低秩梯度压缩
本文研究了梯度压缩方法以缓解数据并行分布式优化中的通信瓶颈,提出了一种基于幂迭代的新型低秩梯度压缩器,在快速压缩梯度、高效聚合压缩梯度并且在测试性能上与随机梯度下降(SGD)相当的情况下实现了持续的加速,该算法是唯一评估的方法,与具有优化的
→
PDF
5 years ago
Prev
Next