BriefGPT.xyz
Ask
alpha
关键词
all-reduce
搜索结果 - 3
AAAI
分布式优化的无偏单尺度和多尺度量化器
本文提出了一组全局归约兼容的梯度压缩方案,通过压缩梯度实现降低通信开销的目的,并取得比当前深度学习框架提供的方法更好的表现效果。
PDF
3 years ago
ICLR
IntSGD: 随机梯度的自适应无浮点压缩
本文提出一组适用于分布式随机梯度下降的自适应整数压缩算子,可通过适应性地估计向量的缩放来达到与 SGD 相同的迭代复杂度,并且也可用于 all-reduce,并在实验中取得了良好的效果。
PDF
3 years ago
PowerSGD: 分布式优化中的实用低秩梯度压缩
本文研究了梯度压缩方法以缓解数据并行分布式优化中的通信瓶颈,提出了一种基于幂迭代的新型低秩梯度压缩器,在快速压缩梯度、高效聚合压缩梯度并且在测试性能上与随机梯度下降(SGD)相当的情况下实现了持续的加速,该算法是唯一评估的方法,与具有优化的
→
PDF
5 years ago
Prev
Next