BriefGPT.xyz
Oct, 2017
通信高效分布式优化的梯度稀疏化
Gradient Sparsification for Communication-Efficient Distributed Optimization
HTML
PDF
Jianqiao Wangni, Jialei Wang, Ji Liu, Tong Zhang
TL;DR
通过减少信息交换的通信成本，提出了使用凸优化公式的随机梯度编码方法，该方法可以在多台机器上有效地解决大规模机器学习中的瓶颈问题，同时经过正则化逻辑回归，支持向量机和卷积神经网络的实验验证了该方法的有效性。
Abstract
Modern large scale
machine learning
applications require
stochastic optimization
algorithms to be implemented on distributed computational architectures. A key bottleneck is the communication overhead for exchang
→