Jul, 2020
深度学习优化器基准测试 - 穿越拥挤的山谷
Descending through a Crowded Valley - Benchmarking Deep Learning Optimizers
Robin M. Schmidt, Frank Schneider, Philipp Hennig
TL;DR本文通过对 15 种深度学习优化器的广泛基准测试,得出以下结论:(i) 优化器的性能因任务而异。(ii) 使用默认参数评估多个优化器大致与调整单个优化器的超参数一样好。(iii) Adam 仍然是一个强有力的竞争者,其它新的方法未能显著并持续地超越它。