Nov, 2021

大规模深度学习优化:综述

TL;DR本文概述了在大规模深度学习中如何优化模型的准确性和效率,讨论了优化中使用的算法、大批量训练中出现的泛化差距问题,并回顾了最新的解决通信负担和减少内存占用的策略。