ICLRMar, 2022

优化器合并

TL;DR研究如何将一个优化器池中的优化器合并为单个性能更强的学生优化器。定义三种不同的可微合并机制,并探索稳定合并过程的方法,进而展示所合并的优化器相对于其组件和学习优化基线更为优越,以及利用扰动减少方差的有效性。