ICMLOct, 2019
优化器基准测试需考虑超参数调整
Optimizer Benchmarking Needs to Account for Hyperparameter Tuning
Prabhu Teja Sivaprasad, Florian Mai, Thijs Vogels, Martin Jaggi, François Fleuret
TL;DR本文的研究结果表明,Adam 优化器是一种实用的解决方案,尤其在低预算场景中,因为评估不同优化器的性能必须考虑到超参数搜索的计算成本和难度。