BriefGPT.xyz
Ask
alpha
关键词
communication bound problem
搜索结果 - 1
深度神经网络分布式训练：并行可扩展性的理论和实践的极限
本文研究 DNN 分布式训练的主要瓶颈问题，结果显示，当前最先进的方法 SGD 存在大量通信问题，而理论上的约束也使得 DNN 训练的扩展性较差。
PDF
8 years ago
Prev
Next