BriefGPT.xyz
Ask
alpha
关键词
gradient compression techniques
搜索结果 - 2
MALCOM-PSGD:用于通信高效的分散式机器学习的近似近端随机梯度下降
近期的研究表明,频繁的模型通信是分布式机器学习(ML)尤其是针对大规模和过参数化的神经网络(NNs)效率的主要瓶颈。本文介绍了一种新的分布式 ML 算法 MALCOM-PSGD,它在模型稀疏化中策略性地整合了梯度压缩技术。MALCOM-PS
→
PDF
8 months ago
手风琴:通过关键学习模式识别实现自适应梯度通信
本文提出一种名为 Accordion 的自适应压缩算法,用于解决分布式模型训练中由于频繁的模型更新导致的通信瓶颈问题,该算法能够在保持最终测试准确度的情况下减少通信,实验结果表明 Accordion 相比于静态压缩算法可获得高达 5.5 倍
→
PDF
4 years ago
Prev
Next