ICLROct, 2020

深度引导框架:好的在线学习者是好的离线泛化者

TL;DR我们提出了一个新的深度学习推广理论框架,通过将优化器从经验损失下取随机梯度步骤的现实世界与从总体损失下取步骤的理想世界相结合,将测试误差分解成理想世界测试误差和两个世界间差距两部分,进而将离线学习中的泛化问题简化为在线学习中的优化问题,实验结果显示该模型在实际深度学习场景中可以表现很好,有助于深度学习推广问题的理解和未来研究。