BriefGPT.xyz
Oct, 2020
滞后数据管道的随机优化
Stochastic Optimization with Laggard Data Pipelines
HTML
PDF
Naman Agarwal, Rohan Anil, Tomer Koren, Kunal Talwar, Cyril Zhang
TL;DR
该研究文章提出了一种名为“数据回响”的新优化方法，通过在等待新数据到达的同时在同一批次上重复梯度步骤来克服大规模并行管道中的性能瓶颈。而且，该方法在凸优化中的随机小批量优化以及在其他正在被大规模并行化的领域中得到了证明，展现出明显的加速和优越性能。
Abstract
State-of-the-art
optimization
is steadily shifting towards massively
parallel pipelines
with extremely
large batch sizes
. As a consequence
→